Приложение 2. Описание программ пакета «Нейроучебник»

Параметры метода обучения

Параметры контрастирования

Методы предобработки

Основной режим

Основной режим работы позволяет Вам изменять обучающее множество, читать, записывать синаптическую карту, обучать нейронную сеть, тестировать ее, а также выполнять ряд других функций.

В верхней строке экрана находится основное меню программы. Ниже находятся поля пяти задач обучающего множества и тестовой задачи. Под полями задач приведен краткий список горячих клавиш и их функций. Ниже приведен полный список горячих клавиш и их функций для основного режима:

←→	Смена активной задачи. Активная задача отличается цветами рамки и заголовка.
↑↓	Смена активного примера в поле задачи.
Home	Сделать активным первый пример задачи.
End	Сделать активным последний пример задачи.
ENTER	Перейти в режим редактирования задачи.
DELETE	Удалить пример.
F1	Высветить справочную информацию. Отметим, что эта клавиша работает во всех режимах.
F2	Открыть стандартный задачник.
F3	Запомнить обучающее множество.
F4	Прочитать обучающее множество.
F5	Тест обучающего множества.
CTRL-F5	Тест текущего тестового примера.
ALT-F5	Тест тестовой задачи.
SHIFT-F5	Тест статистический (Кроме программы Hopfield).
F6	Обучение нейронной сети.
ALT-F6	Случайное изменение карты.
CTRL-F6	Контрастирование.
F7	Запомнить карту.
F8	Прочитать карту.
CTRL-F8	Редактировать карту.
ALT-F8	Сгенерировать новую карту (Кроме программы Hopfield).
F9	Выйти в меню.
F10	Закончить работу.
ALT-C	Записать изображение активного примера активной задачи в карман.

Кроме того, часть функций может быть выполнена только через выход в меню. Выбрав нужный пункт в меню и нажав F1 Вы получите справку о выполняемой им функции.

Обучающее множество

Обучающее множество – это совокупность всех примеров задач 1,...,5. Обучающее множество может рассматриваться как целое (См. разделы Запомнить обучающее множество, Тест обучающего множества и Прочитать обучающее множество) или как совокупность задач (См. разделы Задача, Удалить задачу и Редактирование задачи). Программа предоставляет Вам возможность создавать, редактировать, записывать и читать обучающее множество.

Запомнить обучающее множество

При выполнении функции "Запомнить обучающее множество" на экран выводится запрос "Введите имя файла для запоминания" и предлагается имя последнего записанного или прочитанного файла обучающего множества. Все файлы обучающих множеств ВСЕГДА имеют расширение ".PBL". Это необходимо учитывать при создании таких файлов средствами отличными от данной программы. При ответе на запрос можно не набирать расширение файла, поскольку оно будет заменено стандартным.

Прочитать обучающее множество

При чтении обучающего множества на экране появляется окно выбора файла. Вы должны выбрать нужный Вам файл или отказаться от чтения. При зачтении нового обучающего множества старое – стирается.

Открыть стандартный задачник

Функция открытия стандартного задачника предназначена для подготовки файла стандартного задачника к просмотру. Все файлы стандартных задачников имеют расширение ".TSK" и НЕСОВМЕСТИМЫ по формату с файлами обучающего множества. Программа не предусматривает средств создания и редактирования стандартных задачников. Если Вас интересует создание новых стандартных задачников, воспользуйтесь программами TaskBook и Pbl2Tsk.

Очистить обучающее множество

Эта функция производит операцию Удаления задачи со всеми задачами Обучающего множества.

Стандартный задачник

Стандартный задачник служит для облегчения создания обучающего множества и никак не влияет на обучение нейронной сети. Поэтому можно менять стандартный задачник во время обучения сети, не опасаясь влияния этой смены на ход обучения. Открытие стандартного задачника возможно несколькими способами:

нажатием кнопки F2 в основном режиме работы;

нажатием кнопки F2 во время просмотра стандартного задачника при редактировании задачи;

через пункт "Открыть стандартный задачник" в подменю "Обучающее множество".

После открытия стандартного задачника Вы получаете возможность выбирать из него изображения и вводить их в обучающее множество или в число примеров тестовой задачи.

Задача

Под задачей понимается совокупность примеров, которые Вы отнесли к одному классу изображений. На экране вся информация о задаче отображается в окне "Задача #", где # – номер задачи. В окне "Задача" можно выделить следующие объекты:

номер текущего примера;

данные текущего примера;

вес текущего примера;

оценка текущего примера;

ответ текущего примера;

средняя оценка по всем примерам задачи.

Первые пять объектов относятся к примерам и меняются при просмотре примеров. Средняя оценка является характеристикой всей задачи в целом. Номер примера служит для идентификации примеров внутри задачи. Поле данных примера содержит задаваемую Вами в режиме редактирования задачи исходную информацию для сети. Поле ответа содержит ответ сети на предъявленный Вами пример. Для получения более полной информации о полях "вес текущего примера", "оценка текущего примера" и "средняя оценка по всем примерам задачи" смотрите разделы Вес примера и Оценка примера.

Просмотр примеров

Просмотр примеров активной задачи осуществляется в основном режиме при помощи клавиш "Вверх" и "Вниз". При этом в окне задачи появляются соответствующие поля номер примера, данные примера, вес примера, оценка примера, ответ примера.

Редактирование задачи

Режим редактирования задачи имеет свой набор горячих клавиш. Горячие клавиши основного режима НЕ действуют. В режиме редактирования задачи Вы можете создавать новые примеры или редактировать старые. Ниже приведен список горячих клавиш режима редактирования задачи и описание их функций:

←→↑↓	Перемещение курсора.
Пробел	Поставить/стереть точку.
CTRL-←	Сдвинуть изображение влево
CTRL-→	Сдвинуть изображение вправо
PAGEUP	Сдвинуть изображение вверх
PAGEDOWN	Сдвинуть изображение вниз
F1	Справочная информация
F2	Просмотр стандартного задачника
F3	Инвертирование изображения
F4	Затенение изображения
F5	Инвертирующий шум
CTRL-F5	Изменить уровень инвертирующего шума
F6	Добавляющий шум
CTRL-F6	Изменить уровень добавляющего шума
F7	Гасящий шум
CTRL-F7	Изменить уровень гасящего шума
DELETE	Очистить изображение
В	Ввести новый вес примера
П	Повернуть изображение на 90 градусов по часовой стрелке
О	Отразить изображение относительно вертикальной оси
ALT-C	Записать текущее изображение в карман
ALT-P	Заменить текущее изображение хранящимся в кармане.

Просмотр стандартного задачника

Просмотр стандартного задачника осуществляется с помощью клавиш "Вправо" и "Влево". Для введения текущего изображения в обучающее множество необходимо нажать ENTER, после чего программа перейдет обратно в режим редактирования задачи. Если Вы хотите отказаться от ввода задачи из стандартного задачника – нажмите ESC.

Вес примера

Вес примера является задаваемой Вами величиной, влияющей на вклад данного примера в изменение синаптической карты при обучении. Чем больше вес примера (вес не может превышать 1 и быть меньше 0), тем весомее вклад данного примера в синаптическую карту и наоборот.

Оценка примера

Программа Hopfield.

В данной программе оценка примера выполняет чисто информационные функции и равна числу несовпадающих точек в исходном изображении и ответе.

Все программы, кроме программы Hopfield.

В данной программе оценка примера может вычисляться по одному из двух правил Метода наименьших квадратов или Расстояния до множества. Кроме того, при тестировании примеров тестовой задачи в окне "Оценка" отображается уровень уверенности сети в решении предъявленного примера. Уровень надежности вычисляется по формулам, приведенным в разделах Метод наименьших квадратов и Расстояния до множества.

Затенение изображения

При исполнении команды "Затенить изображение", при редактировании задачи или, во всех программах, кроме программы Hopfield, во время Статистического теста с тенью, необходимо затенить часть изображения. Затенение осуществляется по следующему алгоритму:

При помощи генератора случайных чисел генерируется уравнение прямой, проходящей через изображение.

Та часть изображения, которая не содержит точку с координатами (5,5) стирается.

Затенение изображения – одно из четырех предоставляемых этой программой искажений изображения. Остальные искажения описаны в разделах: Добавляющий шум, Инвертирующий шум, Гасящий шум.

Добавляющий шум

При исполнении команды "Добавляющий шум", при редактировании задачи или, во всех программах, кроме программы Hopfield, во время Статистического теста с добавляющим шумом производится наложение на изображение добавляющего шума. Алгоритм "зашумления" с заданным уровнем добавляющего шума:

Для каждой точки изображения генерируется случайное число из диапазона (0,1).

Если это число меньше либо равно заданному уровню шума, то в изображение добавляется соответствующая точка.

Добавляющий шум – одно из четырех предоставляемых этой программой искажений изображения. Остальные искажения описаны в разделах: Затенение изображения, Инвертирующий шум, Гасящий шум.

Инвертирующий шум

При исполнении команды "Инвертирующий шум", при редактировании задачи или, во всех программах, кроме программы Hopfield, во время Статистического теста с инвертирующим шумом производится наложение на изображение инвертирующего шума. Алгоритм "зашумления" с заданным уровнем Инвертирующего шума:

Для каждой точки изображения генерируется случайное число из диапазона (0,1).

Если это число меньше либо равно заданному уровню шума, то в изображении инвертируется соответствующая точка.

Инвертирующий шум – одно из четырех предоставляемых этой программой искажений изображения. Остальные искажения описаны в разделах: Затенение изображения, Добавляющий шум, Гасящий шум.

Гасящий шум

При исполнении команды "Гасящий шум", при редактировании задачи или, во всех программах, кроме программы Hopfield, во время Статистического теста с гасящим шумом производится наложение на изображение гасящего шума. Алгоритм "зашумления" с заданным уровнем Гасящего шума:

Для каждой точки изображения генерируется случайное число из диапазона (0,1).

Если это число меньше либо равно заданному уровню шума, то в изображении гасится соответствующая точка.

Гасящий шум – одно из четырех предоставляемых этой программой искажений изображения. Остальные искажения описаны в разделах: Затенение изображения, Добавляющий шум, Инвертирующий шум.

Удалить пример

Эта функция удаляет активный пример активной задачи. Если после этого примеров не остается, то заводится пустой пример. Таким образом, все задачи всегда содержат хотя бы один пример.

Первый пример

Эта функция делает активным первый пример активной задачи.

Последний пример

Эта функция делает активным последний пример активной задачи.

Удалить задачу

Эта функция удаляет все примеры активной задачи и заводит один пустой пример.

Нейронная сеть

Программа Hopfield

Нейронная сеть в данной программе является полносвязной (каждый нейрон связан с каждым, в том числе и с самим собой), однородной (все нейроны одинаковы), стонейронной (поскольку в сетях Хопфилда каждой точке изображения соответствует свой нейрон, а в этой программе используются изображения 10*10) сетью Хопфилда. Алгоритм формирования Синаптической карты описан в разделах "Параметры" и "Обучение". Алгоритм функционирования каждого нейрона описан в разделе "Нейрон".

Все программы кроме программы Hopfield

Сеть, имитируемая данной программой, является полносвязной (каждый нейрон получает на каждом шаге сигналы со всех нейронов), с выделенными связями для получения входных данных. Подробная схема нейрона приведена в разделе Нейрон. Число нейронов в сети может варьироваться от 5 до 10 (см Число нейронов в сети). Число обменов сигналами между нейронами может варьироваться от 2 до 5 (см. Число срабатываний сети).

Нейрон

Программа Hopfield.

В данной программе все нейроны сети одинаковы и очень просты. Обозначив вектор сигналов сети через a[i] (i=1,...,100), а элементы синаптической карты – синаптические веса – через X[ij], работу нейрона можно описать следующими формулами:

J[i]= Сумма по j от 1 до 100 (a[j]*X[ij])

a'[i]= 1, если J[i]>0; 0, если J[i]<0.

a'[i] – новый сигнал i-ого нейрона.

Программа Pade.

Схема рационального нейрона представлена на рисунке ниже. Он состоит из шести частей: входных синапсов (x[i,j], y[i,j]), сумматоров (N,D) и функционального преобразователя (F).

Схема действия i-го нейрона проста – в каждый момент времени со всех нейронов на него поступают сигналы. Перед сумматором каждый сигнал умножается на синаптический вес x[i,j] для сумматора N и y[i,j] для сумматора D. Индекс i показывает номер нейрона получающего, а индекс j – номер передавшего сигнал. Отметим, что в силу ограничений, принятых в данной модели нейронной сети, все синаптические веса неотрицательны. После этого сигналы поступают на сумматоры. Вычисленные сумматорами сигналы передаются на функциональный преобразователь F. В данной программе все нейроны одинаковы (во всем, кроме синаптических весов, поскольку они являются характеристиками не нейронов, а нейронной сети в целом) и преобразуют сигнал по следующему правилу: F = N / (C + D), где С – Характеристика нейрона

В программах Sinus и Sigmoid нейроны отличаются только видом функционального преобразователя. Схема нейрона представлена на рисунке ниже. Он состоит из четырех частей: входных синапсов (x[i,j]), сумматора (N) и функционального преобразователя.

Схема действия i-го нейрона проста – в каждый момент времени со всех нейронов на него поступают сигналы. Перед сумматором каждый сигнал умножается на синаптический вес x[i,j]. Индекс i показывает номер нейрона получающего, а индекс j – номер – передавшего сигнал. Отметим, что в силу ограничений, принятых в данной модели нейронной сети, все синаптические веса не могут по абсолютной величине превосходить 1. После этого сигналы поступают на сумматор. Вычисленный сумматором сигнал передается на функциональный преобразователь. В данной программе все нейроны одинаковы (во всем, кроме синаптических весов, поскольку они являются характеристиками не нейронов, а нейронной сети в целом) и преобразуют сигнал по следующему правилу:

F = Sin(Т)	(программа Sinus).
А = N / (C + \|N\|)	(программа Sigmoid).

где С – Характеристика нейрона

Синаптическая карта

Синаптическая карта является важнейшей частью нейронной сети. Она задает веса, с которыми передаются сигналы от одних нейронов к другим. Синаптическая карта формируется при обучении нейронной сети, Случайном изменении карты, Контрастировании, а для программ, отличных от программы Hopfield, и при Редактировании карты, Генерации новой карты.

Запомнить карту

При выполнении этой функции на экран выводится запрос "Введите имя файла для запоминания". Все файлы карт имеют расширение ".MAP", которое можно не набирать при ответе на запрос.

Прочитать карту

При чтении карты на экране появляется окно выбора файла. Вы должны выбрать нужный Вам файл или отказаться от чтения.

Редактировать карту

Эта функция позволяет "увидеть" на экране синаптическую карту и изменить, в соответствии с вашими желаниями значения отдельных связей. Ниже приведен список клавиш, позволяющих Вам редактировать карту:

F1	помощь;
←→↑↓	перемещение курсора;
PgUp	на страницу вверх;
PgDown	на страницу вниз;
^←	на 10 влево;
^→	на 10 вправо;
HOME	в начало;
END	в конец;
ENTER	редактировать;
Пробел	заморозить/разморозить связь (Кроме программы Hopfield);
ENTER	редактировать.

Далее для всех программ, кроме программы Hopfield.

Операция замораживания (размораживания) связи позволяет исключить (подключить ранее исключенную) эту связь из процесса обучения. Связи могут быть заморожены либо при редактировании карты, либо при контрастировании.

Опишем формат отображения синаптической карты на экран. В первом столбце идут номера входных сигналов (в случае отсутствия предобработки это единица для позиции, где есть точка и -1 – для остальных). Точки изображения нумеруются, как показано в следующей таблице:

1	2	3	4	5	6	7	8	9	10
11	12	13	14	15	16	17	18	19	20
21	22	23	24	25	26	27	28	29	30
31	32	33	34	35	36	37	38	39	40
41	42	43	44	45	46	47	48	49	50
51	52	53	54	55	56	57	58	59	60
61	62	63	64	65	66	67	68	69	70
71	72	73	74	75	76	77	78	79	80
81	82	83	84	85	86	87	88	89	90
91	92	93	94	95	96	97	98	99	100

Кроме того, к вектору входных сигналов любого примера каждой задачи добавляется сигнал с номером 0 и значением 1). Во второй колонке находятся значения синаптических весов, на которые будут подаваться соответствующие входные сигналы. В третьей колонке стоят номера нейронов, сигналы с которых будут подаваться на синапсы, веса которых указаны в четвертой колонке.

В программе Pade, во второй колонке находятся значения синаптических весов сумматора числителя функционального элемента, на которые будут подаваться соответствующие первой колонке входные сигналы. В третьей колонке находятся значения синаптических весов сумматора знаменателя функционального элемента, на которые будут подаваться соответствующие первой колонке входные сигналы. В четвертой колонке стоят номера нейронов, сигналы с которых будут подаваться на синапсы, веса которых указаны в пятой (сумматор числителя) и шестой (сумматор знаменателя) колонках.

Сгенерировать новую карту

Выполнение этой функции приводит к замене текущей синаптической карты на случайную, с указанными Вами параметрами. Если Вы указали уровень синапсов равным L, то каждый синапс будет получен с помощью случайной величины, равномерно распределенной внутри интервала [-L,L] (для программы Pade – в интервале [0,L]).

Случайное изменение карты

Выполнение этой функции приводит к изменению всех весов синаптической карты на случайную величину, равномерно распределенную в диапазоне [-L,L], где L – задается в меню Параметры, в пункте Уровень УДАРА. Для каждого синаптического веса генерируется своя случайная поправка.

Контрастирование карты

Программа Hopfield.

Эта процедура удаляет из сети "лишние" связи. Вы можете задать понятие лишних связей, задав параметры контрастирования в меню Параметры.

Все программы, кроме программы Hopfield.

Эта процедура удаляет из сети "лишние" связи, замораживает медленно обучающиеся и размораживает ранее замороженные или отконтрастированные. Вы можете задать понятие лишних, медленных и подлежащих размораживанию связей задав значения параметров контрастирования в меню Параметры. Ниже приведена схема процедуры контрастирования:

Накопление показателей чувствительности

|
V

Выделение размораживаемых связей

|
V

Контрастирование связей

|
V

Замораживание связей

|
V

Размораживание выделенных связей

Накопление показателей чувствительности для размораживания (Норма для включения) и для замораживания и контрастирования (Норма для исключения) ведется раздельно в ходе указанного Вами числа (Число циклов накопления критерия) тактов обучения сети по методу Усредненного антиградиентного спуска.

После накопления показателей чувствительности определяются связи подлежащие размораживанию – Количество размораживаемых связей с самым большим показателем чувствительности. Отметим, что связи только отмечаются, но не размораживаются.

Среди обучаемых связей выделяем Количество контрастируемых связей с самыми маленькими модернизированными показателями чувствительности. Модернизация производится по следующему алгоритму:

Для каждой неотконтрастированной связи определяем расстояние до ближайшего выделенного значения.

Умножаем показатель чувствительности этой связи на вычисленное расстояние.

Величины отобранных связей заменяем ближайшим выделенным значением и замораживаем (исключаем из обучения).

Среди незамороженных (обучаемых) связей находим Количество замораживаемых связей и замораживаем, не изменяя их величин.

Связи, включенные в список подлежащих размораживанию на втором шаге алгоритма, размораживаем, не изменяя их величин.

Параметры

Программа Hopfield

В этом подменю, Вы можете установить параметры Метода обучения, Контрастирования и Уровень УДАРА.

Все программы, кроме программы Hopfield.

В меню "Параметры" Вы можете задать следующие параметры:

Параметры сети

Параметры метода обучения

Параметры контрастирования

Методы предобработки

Параметры метода обучения

Программа Hopfield

Этот пункт позволяет Вам выбрать один из двух заложенных в программу алгоритмов построения синаптической карты по обучающему множеству. Если Вы выбрали "Классический Хопфилд", то формирование происходит так, как описано в разделе обучение. Если Вы предпочли "Проекционный Хопфилд", то производится предварительная обработка обучающего множества. Входные данные, задаваемые каждым примером, можно рассматривать как стомерный вектор. Процедура предварительной обработки состоит в ортонормировании системы векторов, задаваемых всеми примерами обучающего множества. Отметим, что при тестировании предобработка отсуствует.

Все программы, кроме программы Hopfield.

В этом меню Вы можете задать следующие параметры метода обучения:

Использовать MparTan

Все программы, кроме программы Hopfield.

При построении метода обучения Вы пользуетесь следующей схемой:

Использовать MParTan	Да или Нет
\| V
Процедура спуска
\| V
Организация обучения	Усредненная Позадачная Задаче номер
\| V
Вычисление направления	Случайный спуск Градиентный спуск
\| V
Метод оценивания	Метод наименьших квадратов Расстояние до множества
\| V
Нейронная сеть

Входными параметрами процедуры MParTan являются:

Начальная карта.

Процедура вычисления Направления спуска.

Локальное обучающее множество.

Процедура вычисления оценки.

Процедура ParTan работает по следующему алгоритму:

Запоминаем текущую карту и оценку текущего Обучающего множества, определяемую в соответствии с тремя более низкими уровнями схемы.

Используя процедуру вычисления Направления спуска, вычисляет направление спуска и производит спуск в этом направлении. Этот шаг алгоритма выполняется дважды.

Запоминаем текущую карту и оценку текущего Обучающего множества,

Делаем спуск в направлении, ведущем из первой запомненной карты во вторую.

Если оценка не равна 0, то повторяем всю процедуру сначала.

Процедура MParTan несколько отличается от предыдущей, но ее описание слишком сложно. Однако в ее основе лежит та же идея. Если Вы не используете MParTan, то используется следующая процедура

Используя процедуру вычисления Направления спуска, вычисляет направление спуска и производит спуск в этом направлении.

Если оценка не равна 0, то повторяем всю процедуру сначала.

Организация обучения

Все программы, кроме программы Hopfield.

При построении метода обучения Вы пользуетесь следующей схемой:

Использовать MParTan	Да или Нет
\| V
Процедура спуска
\| V
Организация обучения	Усредненная Позадачная Задаче номер
\| V
Вычисление направления	Случайный спуск Градиентный спуск
\| V
Метод оценивания	Метод наименьших квадратов Расстояние до множества
\| V
Нейронная сеть

Под организацией обучения будем понимать способ порождения обучающего множества для одного шага обучения. Исторически самым первым был способ позадачного обучения. Если быть более точным – то попримерного. Процедура попримерного обучения состоит из следующих шагов:

Подаем на вход сети задачу.

Получаем ответ.

Вычисляем оценку.

Производим корректировку сети. (Процедура спуска)

Таким образом, локальное обучающее множество для процедур MParTan, Процедура спуска и Вычисление направления состоит только из одного примера.

Алгоритмы получения локального обучающего множества для различных способов организации обучения:

Попримерный	Для каждого шага обучения новый пример.
Позадачный	Для первого шага обучения – все примеры первой задачи, для второго второй и т.д.
Задаче номер N	На всех шагах обучения локальное обучающее множество состоит из всех примеров N-ой задачи.
Усредненный	Локальное обучающее множество совпадает с полным, то есть включает в себя все примеры всех пяти задач обучающего множества.

Вычисление направления

Все программы, кроме программы Hopfield.

При построении метода обучения Вы пользуетесь следующей схемой:

Использовать MParTan	Да или Нет
\| V
Процедура спуска
\| V
Организация обучения	Усредненная Позадачная Задаче номер
\| V
Вычисление направления	Случайный спуск Градиентный спуск
\| V
Метод оценивания	Метод наименьших квадратов Расстояние до множества
\| V
Нейронная сеть

Данная программа предусматривает два способа вычисления направления спуска. Первый способ известен как Случайный поиск, а второй как метод наискорейшего спуска. В первом случае в качестве направления спуска используется случайный вектор, а во втором – вектор антиградиента функции оценки.

Уровень УДАРА

Этот пункт позволяет задать параметр Случайного изменения карты. Уровень УДАРА должен лежать в пределах от 0.001 до 1.

Процедура спуска

Все программы, кроме программы Hopfield.

При построении метода обучения Вы пользуетесь следующей схемой:

Использовать MParTan	Да или Нет
\| V
Процедура спуска
\| V
Организация обучения	Усредненная Позадачная Задаче номер
\| V
Вычисление направления	Случайный спуск Градиентный спуск
\| V
Метод оценивания	Метод наименьших квадратов Расстояние до множества
\| V
Нейронная сеть

Входными параметрами процедуры спуска являются

Начальная карта.

Направление спуска.

Локальное обучающее множество.

Процедура вычисления оценки.

Алгоритм процедуры спуска:

Вычисляем оценку по локальному обучающему множеству (Е1).

Делаем пробный шаг, добавляя к начальной карте вектор направления спуска умноженный на шаг S.

Вычисляем оценку по локальному обучающему множеству (Е2).

Если Е2<E1, то увеличиваем шаг S, полагаем E1=E2 и повторяем шаги алгоритма 1-4 до тех пор, пока не станет E2>E1. Карта, которой соответствует оценка E1,и является результатом работы процедуры.

Если после первого выполнения шага 3 оказалось, что E2>E1, то уменьшаем шаг S, полагаем E1=E2 и повторяем шаги алгоритма 1-3 и 5 до тех пор, пока не станет E2<E1. Карта, которой соответствует оценка E1, и является результатом работы процедуры.

Метод оценивания

Все программы, кроме программы Hopfield.

При построении метода обучения Вы пользуетесь следующей схемой:

Использовать MParTan	Да или Нет
\| V
Процедура спуска
\| V
Организация обучения	Усредненная Позадачная Задаче номер
\| V
Вычисление направления	Случайный спуск Градиентный спуск
\| V
Метод оценивания	Метод наименьших квадратов Расстояние до множества
\| V
Нейронная сеть

В данной программе принят способ кодирования ответа номером канала: номер того из пяти ответных нейронов, который выдал на последнем такте функционирования наибольший сигнал, задает номер класса, к которому сеть отнесла предъявленный образ. Оценка, таким образом, может быть вычислена только для задачи, ответ которой известен.

Данная программа предусматривает два различных способа оценивания решения. Различие в способах оценки связано с различием требований, накладываемых на обученную сеть. Пусть пример относится к N-ой задаче. Тогда требования можно записать так:

Метод наименьших квадратов (Программа Pade)

N-ый нейрон должен выдать на выходе 1.

Остальные нейроны должны давать на выходе 0 (как можно более близкое к 0 число).

Метод наименьших квадратов (Программы Sigmoid и Sinus).

N-ый нейрон должен выдать на выходе 1 (поскольку сигнал 1 для нейрона невозможен (см. Нейрон), то число как можно более близкое к 1).

Остальные нейроны должны давать на выходе -1 (как можно более близкое к -1 число).

Расстояние до множества

В этом случае требование только одно – разница между выходным сигналом N-го нейрона и выходными сигналами остальных нейронов должна быть не меньше уровня надежности.

Таким образом, для Метода наименьших квадратов оценка примера N-ой задачи равна

H = ( Сумма по I<>N от 1 до 5 (A[I]+1)^2) ) + (A[N]-1)^2

и является обычным Евклидовым расстоянием от правильного ответа до ответа, выданного сетью.

Как следует из названия второго метода оценивания, вычисляемая по этому способу оценка равна расстоянию от выданного сетью ответа до множества правильных ответов. Множество правильных ответов для примера N-ой задачи задается неравенствами

A[N]-R > A[I], для всех I<>N.

Предобработка входных данных

Все программы, кроме программы Hopfield.

Входные данные задачи распознавания черно-белых изображений представляют собой последовательность 0 и 1 (есть точка – 1, нет – 0). Такие данные не всегда оптимальны для решения задачи распознавания. В связи с этим возникает задача предобработки данных. Возможны различные виды предобработки – преобразования Фурье, построение различных инвариантов и т.п. В этой программе предусмотрено несколько видов предобработки:

В результате предобработки получается не только более информативный вектор входных сигналов, но иногда и вектор меньшей размерности. Кроме того, вектор входных сигналов, полученный предобработкой типа "сдвиговый автокоррелятор" является инвариантным к сдвигу.

Чистый образ

Все программы, кроме программы Hopfield.

Это "пустая" предобработка – никакой предобработки не производится.

Сдвиговый автокоррелятор

Все программы, кроме программы Hopfield.

Основная идея этого метода предобработки – сделать вектор входных сигналов нейронной сети инвариантным к сдвигу. Другими словами, два вектора, соответствующие одному и тому же образу, расположенному в разных местах шаблона 10*10, после предобработки этим способом должны совпадать! Рассмотрим подробно метод вычисления автокоррелятора. Пусть дано изображение X. x[i,j] – точка изображения в i-ом ряду и j-ом столбце. Будем считать x[i,j]=0, если хотя бы один индекс (i или j) находится вне пределов интервала (1,10). Элемент автокоррелятора A – a[l,k] вычисляется по формуле:

a[l,k] = Сумма по i от 1 до 10 (Сумма по j от 1 до 10 < x[i,j]*x[i+l,j+k] > )

Другими словами, a[l,k] – число точек совпадающих при наложении изображения X на это же, но сдвинутое на вектор (l,k) изображение. Легко заметить, что ненулевыми могут быть только элементы автокоррелятора A с индексами -9<=l,k<=9. Однако a[l,k]=a[-l,-k] Таким образом можно рассматривать только часть коррелятора с индексами -9<=i<=9 и 0<=j<=9. Если Вы задаете размер автокоррелятора m*n, то входными сигналами для сети будут служить элементы a[i,j] при -(n-1)<=i<=(n-1), 0<=j<=m-1.

Автокоррелятор сдвиг+отражение

Все программы, кроме программы Hopfield.

Этот метод предобработки в качестве исходных данных использует сдвиговый автокоррелятор. Идея вычисления автокоррелятора сдиг+отражение (S) очень проста: Сложим значения, соответствующие симметричным точкам, и будем считать их новыми значениями. s[k,l]=a[k,l]+a[k,-l]. Очевидно, что автокоррелятор S инвариантен относительно сдвига и отражения. Кроме того, можно ограничиться только элементами с неотрицательными индексами. Если Вы задали размеры автокоррелятора m*n, то входными сигналами сети будут s[l,k] при 0<=l<=n-1, 0<=k<=m.

Автокоррелятор сдвиг+вращение

Все программы, кроме программы Hopfield.

Этот метод предобработки в качестве исходных данных использует сдвиговый автокоррелятор. Идея вычисления автокоррелятора очень проста: поворачиваем автокоррелятор A на 90 градусов относительно элемента a[0,0] и получаем элемент автокоррелятора R умножением соответствующих элементов – r[p,q]=a[p,q]*a[q,-p]. Очевидно, что автокоррелятор R инвариантен относительно сдвига и поворота на 90 градусов. Кроме того, можно ограничиться только элементами с неотрицательными индексами. Если вы задали размеры автокоррелятора m*n, то входными сигналами сети будут s[l,k] при 0<=l<=n-1, 0<=k<=m.

Автокоррелятор сдвиг+вращение+отражение

Все программы, кроме программы Hopfield.

Этот метод предобработки в качестве исходных данных использует автокоррелятор сдвиг+вращение. Идея вычисления автокоррелятора сдиг+вращение+отражение (C) очень проста: Сложим значения, соответствующие симметричным точкам, и будем считать их новыми значениями. c[k,l]=r[k,l]+r[k,-l]. Очевидно, что автокоррелятор C инвариантен относительно сдвига, вращения и отражения. Кроме того, можно ограничиться только элементами с неотрицательными индексами. Если вы задали размеры автокоррелятора m*n, то входными сигналами сети будут с[l,k] при 0<=l<=n-1, 0<=k<=m.

Параметры нейронной сети

Все программы, кроме программы Hopfield.

Этот пункт меню позволяет Вам изменять структуру нейронной сети. Вы можете изменить такие важнейшие параметры сети, как

Число нейронов в сети

Все программы, кроме программы Hopfield.

Этот пункт меню позволяет Вам изменять число нейронов в сети от 5 до 10. Подробно структура сети и нейрона описана в разделах Нейронная сеть и Нейрон.

Число срабатываний сети

Все программы, кроме программы Hopfield.

Наиболее широкую известность получили нейронные сети слоистой архитектуры. В таких сетях за время решения примера сигнал только один раз попадает на нейроны каждого слоя. Имитируемая данной программой сеть является полносвязной сетью – каждый нейрон передает сигнал всем другим (в том числе и себе). Однако любую полносвязную сеть можно представить в виде слоистой сети с идентичными слоями. В рамках такого представления число срабатываний сети равно числу слоев нейронной сети, следующих за входным слоем. Число срабатываний сети может изменяться от 1 до 5.

Характеристика нейронов

Программа Sigmoid

В разделе Нейрон описана структура работы нейрона. В функциональном преобразователе нейрона, работающем по формуле F = R / (C+|R|), присутствует величина С, называемая характеристикой нейрона. Этот пункт меню позволяет Вам изменять эту величину от 0.001 до 5.

Программа Sinus не имеет параметра Характеристика нейрона

Программа Pade

В разделе Нейрон описана структура работы нейрона. В функциональном преобразователе нейрона, работающем по формуле F = N / (C+D) присутствует величина С, называемая характеристикой нейрона. Этот пункт меню позволяет Вам изменять эту величину в пределах от 0.001 до 5.

Параметры контрастирования

Программа Hopfield.

Если Вы посмотрите на синаптическую карту (воспользуйтесь клавишей <CTRL-F8> для перехода в режим Редактирования карты), то заметите, что большая часть синаптических весов мала и одинакова по величине. Процедура контрастирования (вызывается нажатием клавиш <CTRL-F6>) позволяет исключить часть связей из функционирования. Вам предлагается два способа исключения "лишних" связей:

Меньше х.ххх

все синаптические веса, меньшие числа х.ххх по абсолютной величине устанавливаются равными 0. Число х.ххх должно лежать в интервале от 0 до 1.

Дальше хх

все синаптические веса связей с нейронами, удаленными от данного более чем на хх устанавливаются равными 0. По этому алгоритму обрабатываются последовательно все нейроны. Расстояние определяется как сумма модулей разности индексов двух нейронов (сумма расстояния по горизонтали и по вертикали). Например, расстояние между вторым нейроном пятой строки и шестым нейроном первой строки равно ¦2-6¦+¦5-1¦=8. Задаваемый Вами радиус контрастирования хх должен принадлежать интервалу от 1 до 18.

Все программы, кроме программы Hopfield.

Это подменю позволяет Вам определить понятие "лишних" и "медленно обучаемых" связей, а также связей подлежащих возвращению в обучаемое состояние, путем задания следующих параметров процедуры Контрастирования:

Норма для исключения

Все программы, кроме программы Hopfield.

При накоплении показателей чувствительности для исключения из обучения связей программа позволяет использовать три варианта нормы:

Показатель чувствительности связи равен максимуму модуля соответствующего элемента векторов антиградиента по всем циклам накопления критерия.
Показатель чувствительности связи равен сумме модулей соответствующего элемента векторов антиградиента по всем циклам накопления критерия.
Показатель чувствительности связи равен сумме соответствующего элемента векторов антиградиента по всем циклам накопления критерия.

Норма для включения

Все программы, кроме программы Hopfield.

При накоплении показателей чувствительности для включения в обучение связей программа позволяет использовать три варианта нормы:

Показатель чувствительности связи равен максимуму модуля соответствующего элемента векторов антиградиента по всем циклам накопления критерия.
Показатель чувствительности связи равен сумме модулей соответствующего элемента векторов антиградиента по всем циклам накопления критерия.
Показатель чувствительности связи равен сумме соответствующего элемента векторов антиградиента по всем циклам накопления критерия.

Количество контрастируемых связей

Все программы, кроме программы Hopfield.

Этот пункт меню позволяет Вам задать число связей, подлежащих Контрастированию.

Количество замораживаемых связей

Все программы, кроме программы Hopfield.

Этот пункт меню позволяет Вам задать число связей, подлежащих Замораживанию.

Количество размораживаемых связей

Все программы, кроме программы Hopfield.

Этот пункт меню позволяет Вам задать число связей, подлежащих Размораживанию.

Число циклов накопления критерия

Все программы, кроме программы Hopfield.

Этот пункт меню позволяет Вам задать число циклов обучения для накопления показателей чувствительности для процедуры Контрастирования.

Набор выделенных значений (1/2^n)

Все программы, кроме программы Hopfield.

Процедура контрастирования (вызывается нажатием клавиш <CTRL-F6>) позволяет Вам исключить часть связей из функционирования, а остальные связи привести к небольшому числу выделенных значений. Этот пункт позволяет Вам задать набор выделенных значений. Ниже приведена таблица соответствия набора выделенных значений задаваемому Вами параметру:

Программа Pade

Параметр	Значения
0	0.
1	0, 1.
2	0, 1/2, 1.
3	0, 1/4, 2/4, 3/4, 1.
4	0, 1/8, 2/8, 3/8, ..., 7/8, 1.
5	0, 1/16, 2/16, ..., 15/16, 1.
6	0, 1/32, 2/32, ..., 31/32, 1.
7	0, 1/64, 2/64, ..., 63/64, 1.
8	0, 1/128, 2/128, ..., 127/128, 1.

Программы Sinus и Sigmoid

Параметр	Значения
0	0.
1	0, ±1.
2	0, ±1/2, ±1.
3	0, ±1/4, ±2/4, ±3/4, ±1.
4	0, ±1/8, ±2/8, ±3/8, ..., ±7/8, ±1.
5	0, ±1/16, ±2/16, ..., ±15/16, ±1.
6	0, ±1/32, ±2/32, ..., ±31/32, ±1.
7	0, ±1/64, ±2/64, ..., ±63/64, ±1.
8	0, ±1/128, ±2/128, ..., ±127/128, ±1.

Показать все параметры

Все программы, кроме программы Hopfield.

Этот пункт меню позволяет Вам увидеть на экране все параметры, задаваемые в меню "Параметры":

Параметры сети

Параметры метода обучения

Параметры контрастирования

Методы предобработки