Предисловие | 3 |
Введение | 6 |
|
Глава 1. Многослойные нейронные сети | 13 |
1.1. Классификация искусственных нейронных сетей | 14 |
1.2. Базовый процессорный элемент (искусственный нейрон) | 17 |
1.3. Статические линейные однослойные сети | 18 |
1.4. Статические многослойные нейронные сетн | 19 |
1.5. Нейронные сети с радиально-базисными функциями активации | 22 |
1.6. Динамические многослойные нейронные сети | 26 |
1.6.1. Сети Хопфилда | 27 |
1.7. Свойства многослойных нейронных сетей | 33 |
1.7.1. Способность к обучению и накоплению информации | 33 |
1.7.2. Аппроксимационные свойства нейронных сетей | 33 |
1.7.3. Аппроксимация и память в многослойных нейросетях | 35 |
|
Глава 2. Алгоритмы обучения статических многослойных нейронных сетей | 41 |
2.1. Общая характеристика алгоритмов обучения искусственных нейросетей | 41 |
2.2. Метод и алгоритм обратного распространения ошибки | 43 |
2.2.1. Настройка коэффициентов выходного слоя | 44 |
2.2.2. Настройка весовых коэффициентов скрытых слоёв нейросети | 47 |
2.2.3. Алгоритм обучения многослойной нейросети по методу ВР | 51 |
2.3. Дифференциальные уравнения процессов преобразования и обучения многослойной нейросети по алгоритму ВР | 54 |
2.4. Эквивалентное преобразование уравнений настройки многослойной нейросети по алгоритму ВР | 56 |
2.5. К анализу устойчивости процессов в многослойной нейросети | 61 |
2.5.1. Достаточное условие устойчивости процессов обучения нейросети | 61 |
2.5.2. Устойчивость и качество непрерывных процессов обучения | 63 |
2.5.3. Устойчивость процессов в дискретные моменты времени | 67 |
2.6. Компьютерное исследование процессов в многослойной нейронной сети | 73 |
2.6.1. Моделирование эквивалентной структурной схемы обучаемой многослойной нейросети | 73 |
2.6.2. Выбор параметра γ, обеспечивающего устойчивость процессов обучения нейросети при периодических воздействиях с интегрируемыми производными по времени | 76 |
2.6.3. Выбор параметра γ, обеспечивающего сходимость процесса обучения нейросети при изменении эталонной функции u* | 79 |
2.6.4. Выбор параметра γ, обеспечивающего сходимость процесса обучения при изменении структуры нейросети | 81 |
|
Глава 3. Динамические алгоритмы обучения многослойных нейронных сетей | 85 |
3.1. Синтез динамических алгоритмов обучения | 85 |
3.1.1. Возможные подходы к синтезу алгоритма обучения | 85 |
3.1.2. Постановка задачи синтеза динамического алгоритма | 89 |
3.1.3. Уравнение обобщённого настраиваемого объекта | 91 |
3.2. Скоростной алгоритм обратного распространения ошибки | 92 |
3.3. Условия применения метода скоростного градиента в нейросетевых адаптивных системах управления | 96 |
3.4. Динамический алгоритм с прогнозом ошибки обучения | 98 |
3.5. Алгоритмы обучения динамических нейронных сетей | 104 |
3.5.1. Алгоритм обратного распространения ошибки во времени | 104 |
3.5.2. Алгоритм обратного распространения ошибки в структуре обобщённого настраиваемого объекта | 111 |
3.5.3. Обучение сетей Хопфилда | 116 |
3.6. Примеры компьютерного моделирования | 116 |
3.6.1. Нейросетевая система с линейным объектом | 116 |
3.6.2. Нейросетевая система с нелинейным объектом | 120 |
3.6.3. Управление нелинейным объектом на основе алгоритма ВРТТ | 122 |
|
Глава 4. Функциональные структуры нейросетевых систем управления | 124 |
4.1. Типовые модели динамических систем с многослойными нейронными сетями | 125 |
4.1.1. Прямая модель обучения | 125 |
4.1.2. Схема обобщённого инверсного обучения | 126 |
4.1.3. Схема специализированного инверсного обучения | 127 |
4.2. Функциональные структуры систем управления с многослойными нейросетями | 129 |
4.2.1. Система управления с прямой и инверсной моделями объекта | 129 |
4.2.2. Адаптивная система управления с прямой и инверсной моделями объекта управления | 130 |
4.2.3. Адаптивная система непрямого действия с прямой и инверсной моделями обучения | 131 |
4.2.4. Функциональные структуры систем управления с многослойными нейросетями, настраиваемыми по алгоритмам SBP и ВРР | 137 |
|
Глава 5. Синергетический подход к синтезу нейросетевых систем управления | 139 |
5.1. Теория синергетического управления | 139 |
5.2. Синтез систем управления с многослойными нейросетями | 147 |
5.3. Синтез функций обобщённой ошибки обучения многослойной нейросети | 151 |
5.4. Обобщённая функциональная структура нейросетевых систем управления | 152 |
5.5. Пример синтеза нейросетевой системы стабилизации состояния корабля на воздушной подушке | 156 |
|
Заключение | 162 |
Приложение 1. Скоростной алгоритм обратного распространения ошибки | 165 |
Приложение 2. Элементы математического моделирования нейросетевых систем управления в программной среде MATLAB 6.0 | 168 |
Приложение 3. Текст программы моделирования обучаемой МНС в формате S-функции пакета MATLAB | 174 |
|
Литература | 177 |