Оглавление
| Введение
| П1
| П2
| П3
| Литература
Лекции:
1,
2-3,
4-6,
7.1,
7.2,
8,
9,
10,
11.1,
11.2-12,
13-14,
15-16
Отсюда можно скачать архив учебного пособия (800 кб)
А здесь лежит используемое программное обеспечение (222 кб)
МИНИСТЕРСТВО ОБРАЗОВАНИЯ РОССИЙСКОЙ ФЕДЕРАЦИИ
КРАСНОЯРСКИЙ ГОСУДАРСТВЕННЫЙ ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ
Миркес Е.М.
НЕЙРОИНФОРМАТИКА
Рекомендовано Редакционно-издательским советом университета
в качестве учебного пособия
Красноярск 2003
УДК 007.52(07)
М63
Рецензенты:
О.И. Пятковский, д-р. техн. наук, зав. кафедрой "Информационные системы" Алтайского государственного технического университета;
Ю.П. Ланкин, канд. техн. наук, научный сотрудник Института биофизики СО РАН.
Миркес, Е.М.
М63 Нейроинформатика: Учеб. пособие для студентов / Е.М. Миркес. Красноярск: ИПЦ КГТУ, 2002, 347 с. Рис. 58, табл. 59, библиогр. 379 наименований.
ISBN 5-7636-0477-6
Данное учебное пособие написано на основе курса лекций по нейроинформатике в течение ряда лет, читавшегося автором в КГТУ. В пособии рассмотрены все основные парадигмы нейронных сетей. Предложен ряд лабораторных работ по курсу. Даны программы для выполнения лабораторных работ.
Предназначено как для использования в учебном процессе вузов, так и для студентов и аспирантов самостоятельно изучающих нейроинформатику.
УДК 007.52(07)
SBN 5-7636-0477-6
(c)КГТУ, 2003
(c)Е.М. Миркес, 2003
Представлено в авторской редакции
Гигиенический сертификат №24.49.04.953.П.000338.05.01 от 25.05.2001 г.
Подп. в печать 22.04.2003
Усл. печ. л. 20,17. Уч.-изд. л. 17,35. Заказ С20
Оглавление
Оглавление
Введение
Рабочая программа по курсу «Нейроинформатика»
Задания для лабораторных работ
Лабораторная №1
Лабораторная №2
Лабораторная №3
Лабораторная №4
Лабораторная №5
Лабораторная №6
Лабораторная №7
Вопросы к экзамену
Лекция 1. Введение в нейроинформатику
Лекции 2 и 3. Сети естественной классификации
Содержательная постановка задачи
Формальная постановка задачи
Сеть Кохонена
Обучение сети Кохонена
Сеть Кохоненана сфере
Метод динамических ядер
Выбор начального приближения
Примерывидов классификации
Сферическая модель
Пространственная модель
Модель линейных зависимостей
Определение числа классов
Простой подбор
Методы отжига
Лекции 4, 5 и 6. Нейронныесети ассоциативной памяти, функционирующие в дискретном времени
Описание задачи
Формальная постановка задачи
Сети Хопфилда
Функционирование сети
Ортогональные сети
Тензорные сети
Сети дляинвариантной обработки изображений
Конструирование сетей под задачу
Численный эксперимент
Доказательство теоремы
Лекция 7.1. Двойственные сети
Краткий обзор нейронных сетей
Выделение компонентов
Запросы компонентов нейрокомпьютера
Запросы к задачнику
Запрос к предобработчику
Запрос к исполнителю
Запросы к учителю
Запрос к контрастеру
Запрос к оценке
Запрос к интерпретатору ответа
Запросы к сети
Лекция 7.2. Задачник и обучающее множество
Структуры данных задачника
Поля задачника
Состав данных задачника
Цвет примера и обучающая выборка
Входные данные
Комментарии
Предобработанные данные
Правильные ответы
Полученные ответы
Оценки
Вес примера
Достоверность ответа
Уверенность в ответе
Лекция 8. Предобработчик
Нейрон
Различимость входных данных
Классификация компонентов входных данных
Кодирование бинарных признаков
Кодирование неупорядоченных качественных признаков
Кодирование упорядоченных частных признаков
Числовые признаки
Простейшаяпредобработка числовых признаков
Оценка способности сети решить задачу
Оценка константы Липшица сети
Способ вычисления константы Липшица
Синапс
Умножитель
Точкаветвления
Сумматор
Нелинейный Паде преобразователь
Нелинейный сигмоидный преобразователь
Адаптивный сумматор
Константа Липшица сигмоидной сети
Предобработка, облегчающая обучение
Другие способы предобработкичисловых признаков
Модулярная предобработка
Функциональная предобработка
Позиционная предобработка
Составной предобработчик
Лекция 9. Описание нейронных сетей
Конструирование нейронных сетей
Элементы нейронной сети
Составные элементы
Функционирование сети
Методы построения двойственных сетей
Элементы самодвойственных сетей
Синапс
Умножитель
Точка ветвления
Сумматор
Нелинейный Паде преобразователь
Нелинейный сигмоидный преобразователь
Произвольный непрерывный нелинейный преобразователь
Пороговыйпреобразователь
Правила остановки работы сети
Архитектуры сетей
Модификация синаптической карты (обучение)
Контрастирование и нормализациясети
Примеры сетейи алгоритмов их обучения
Сети Хопфилда
СетьКохонена
Персептрон Розенблатта
Лекция 10. Оценка и интерпретатор ответа
Интерпретаторответа
Уровень уверенности
Построение оценки по интерпретатору
Оценка обучающего множества. Вес примера
Глобальные и локальные оценки
Составные интерпретатор ответа и оценка
Лекция 11.1. Исполнитель
Лекция 11.2, 12. Учитель
Что можно обучать методом двойственности
Задача обучения сети
Описание алгоритмов обучения
Краткий обзор макрокоманд учителя
Неградиентные методы обучения
Метод случайной стрельбы
Метод покоординатногоспуска
Подбор оптимального шага
Метод случайного поиска
Метод Нелдера-Мида
Градиентные методы обучения
Метод наискорейшего спуска
kParTan
Квазиньютоновские методы
Лекции 13,14. Контрастер
Задачи для контрастера
Упрощение архитектуры нейронной сети
Уменьшение числа входных сигналов
Сведение параметров нейронной сети к выделенным значениям
Снижение требований к точности входных сигналов
Получение явных знаний из данных
Построение логически прозрачных сетей
Получение явных знаний
Множества повышенной надежности
Формальная постановка задачи
Классификация дублей
Прямой дубль первого рода
Косвенный дубль первого рода
Прямой дубльвторого рода
Косвенный дубль второго рода
Косвенный супердубль
Процедура контрастирования
Контрастирование на основе показателей значимости
Контрастирование без ухудшения
Гибридная процедура контрастирования
Контрастирование при обучении
Определение показателей значимости
Определение показателей значимости через градиент
Усреднение по обучающему множеству
Накопление показателей значимости
Лекции 15,16. Персептрон
Определение персептрона
Обучение персептрона. Правило Хебба
Целочисленностьвесов персептронов
Двуслойность персептрона
Приложение 1 Описание пакета программ CLAB
Описание пакета
Общее описание
Ptn-файл
Задачник
Создание нейросети
Обучение нейросети
Классификация объектов
Дополнительные возможности нейросети
Инструкции пользователю по работе с пакетом CLAB
Инсталляция
Обучение работе с пакетом CLAB на демонстрационной задаче
Инструкции по созданию ptn-файла
Инструкции по выбору файлов и директорий при работе с пакетом CLAB
Инструкции по работе с программой editor
Составление задачника без использования программы editor
Инструкции по работе с программой netgener
Инструкции по работе с программой teacher
Инструкции по работе с программой tester
Приложение 2 Пакет программ «Нейроучебник»
Сервисные функции
Главный индекс
Основной режим
Обучающеемножество
Нейронная сеть
Параметры
Обучение
Тест
Приложение 3. Стандарт нейрокомпьютера
Общий стандарт
Стандарт типов данных
Переменные типа цвет и операции с цветами
Значение переменной типа цвет (Color)
Операции с переменными типа цвет (Color)
Приведение и преобразование типов
Операции
Предопределенные константы
Интерфейсные функции
Структура данных интерфейсных функций
Соглашение о передаче значений отображаемым элементам
Перечень отображаемых элементов
Перечень интерфейсных функций
Строковыефункции
Описание языка описания компонентов
Передача аргументов функциям
Имена структурных единиц компонентов
Способ описания синтаксических конструкций
Описание общих синтаксических конструкций
Комментарии
Область действия переменных
Основные операторы
Описание распределения сигналов
Функции управления памятью
Использование памяти
Обработка ошибок
Процедура обработки ошибок
Установить обработчик ошибок (OnError)
Дать номер ошибки (GetError)
Запросы, однотипные для всех компонентов
Запрос на установлениетекущего компонента
Запросы, работающие со структурой компонента
Запросы на изменение параметров
Инициация редактора компоненты
Задача, используемая в примерах
Стандарт первого уровня компонента задачник
Язык описания задачника
БНФ языка описания задачника
Описание языка описания задачника
Неопределенные значения
Пример описания задачника
Стандарт второго уровня компонента задачник
Чтение и запись задачника
Прочитать задачник (tbAdd)
Записать задачник (tbWrite)
Закрыть задачник (tbDelete)
Начало и конец сеанса
Начало сеанса (InitSession)
Конец сеанса (EndSession)
Перемещение по примерам
В начало (Home)
В конец (End)
Следующий (Next)
Предыдущий (Prev)
Конец (Last)
Начало (First)
Пример номер (Example)
Определение, получение и изменение данных
Дать пример (Get)
Обновить данные (Put)
Сбросить предобработку (RemovePrepare)
Окраска примеров
Дать цвет примера (GetColor)
Покрасить пример (PaintCurrent)
Ошибки компонента задачника
Стандарт первого уровня компонента предобработчик
Неопределенные значения
Стандартные предобработчики
Язык описания предобработчика
БНФ языка описания предобработчика
Описание языка описания предобработчика
Пример описания предобработчика
Стандарт второго уровня компонента предобработчик
Запрос на предобработку
Предобработать вектор сигналов (Prepare)
Остальные запросы
Ошибки компонента предобработчик
Стандарт первого уровня компонента сеть
Структура компонента
Сигналы и параметры
Обучаемые и не обучаемые параметры и сигналы
Дополнительные переменные
Стандарт языка описания сетей
Ключевые слова языка
БНФ языка описания сетей
Описание языка описания сетей
Описание и область действия переменных
Методы Forw и Back для блоков
Описание элементов
Пример описания элементов
Описание блоков
Пример описания блоков
Сокращение описания сети
Раздел описания сигналов и параметров
Раздел описания связей
Частично сокращенное описание
Пример сокращенного описания блоков
Стандарт второго уровня компонента сеть
Запросы к компоненту сеть
Запросы на функционирование
Выполнить прямое Функционирование (Forw)
Выполнить обратное Функционирование (Back)
Запросы на изменение параметров
Провести обучение (Modify)
Изменить маску обучаемости (ModifyMask)
Обнулить градиент (NullGradient)
Случайное направление спуска (RandomDirection)
Запросы, работающие со структурой сети
Вернуть параметры сети (nwGetData)
Установить параметры сети (nwSetData)
Нормализоватьсеть (NormalizeNet)
Остальные запросы
Ошибки компонента сеть
Стандарт первого уровня компонента интерпретатор ответа
БНФ языка описания интерпретатора
Описание языка описания интерпретаторов
Пример описания интерпретатора
Стандарт второго уровня компонента интерпретатор ответа
Запрос на интерпретацию
Интерпретировать массив сигналов (Interpretate)
Остальные запросы
Ошибки компонента интерпретатор ответа
Стандарт первого уровня компонента оценка
БНФ языка описания оценок
Описание языка описания оценок
Пример описания оценки
Стандарт второго уровня компонента оценка
Запрос на оценивание
Оценить массив сигналов (Estimate)
Остальные запросы
Установить параметры (SetEstIntParameters)
Ошибки компонента оценка
Стандарт второго уровня компонента исполнитель
Позадачная обработка (TaskWork)
Обработка обучающего множества (TaskSetWork)
Ошибки компонента исполнитель
Стандарт первого уровня компонента учитель
Способ опознания сети для методов, привязанных к архитектуре сети
Список стандартных функций
Установить объект обучения (SetInstructionObject)
Создание массива (CreateArray)
Освободить массив (EraseArray)
Случайный массив (RandomArray)
Модификация массива (Modify)
Оптимизация шага (Optimize)
Сохранить массив (SaveArray)
Установить параметры (SetArray)
Вычислить оценку (Estimate)
Вычислить градиент (CalcGradient)
Запустить запрос (GenerateQuest)
Язык описания учителя
Библиотеки функций учителя
БНФ языка описания учителя
Описание языка описания учителя
Пример описания учителя
Стандарт второго уровня компонента учитель
Обучение сети
Обучить сеть (InstructNet)
Провести N шагов обучения(NInstructSteps)
Прервать обучение (CloseInstruction)
Чтение/запись учителя
Прочитать учителя (inAdd)
Удаление учителя (inDelete)
Запись компонента (inWrite)
Инициация редактора учителя
Редактировать компонент (inEdit)
Работа с параметрами учителя
Получить параметры (inGetData)
Получить именапараметров (inGetName)
Установить параметры (inSetData)
Обработка ошибок
Стандарт первого уровня компонента контрастер
Язык описания контрастера
Библиотеки функций контрастера
БНФ языка описания контрастера
Описание языка описания контрастера
Стандарт второго уровня компонента контрастер
Контрастирование сети
Контрастировать сеть(ContrastNet)
Прервать контрастирование (CloseContrast)
Контрастировать пример (ContrastExample)
Чтение/запись контрастера
Прочитать контрастера (cnAdd)
Удаление контрастера (cnDelete)
Запись контрастера (cnWrite)
Инициация редактора контрастера
Редактировать контрастера (cnEdit)
Работа спараметрами контрастера
Получить параметры (cnGetData)
Получить имена параметров (cnGetName)
Установить параметры (cnSetData)
Обработка ошибок
Список литературы
Оглавление
| Введение
| П1
| П2
| П3
| Литература
Лекции:
1,
2-3,
4-6,
7.1,
7.2,
8,
9,
10,
11.1,
11.2-12,
13-14,
15-16
|