Предисловие | 7 |
Список обозначений | 9 |
Введение | 12 |
Глава 1. Некоторые задачи и методы теории оценивания | 27 |
1.1 Предварительные примеры | 27 |
1.1.1 Оценивание величины постоянного сигнала, наблюдаемого на фоне помехи | 27 |
1.1.2 Задача об обнаружении сигнала | 31 |
1.1.3 Рандомизированные алгоритмы | 33 |
1.1.4 Функционал среднего риска | 34 |
1.1.5 Предсказание значений случайного процесса | 36 |
1.2 Элементы регрессионного анализа, МНК | 36 |
1.2.1 Наилучшая аппроксимация одной случайной величины с помощью другой | 37 |
1.2.2 Оценивание по конечному числу наблюдений | 39 |
1.2.3 Рекуррентные модификации МНК | 45 |
1.3 Оптимальная фильтрация случайных процессов | 48 |
1.3.1 Фильтр Винера-Колмогорова | 49 |
1.3.2 Фильтр Калмана-Бьюси | 54 |
1.4 Метод стохастической аппроксимации | 60 |
1.4.1 Поиск корня неизвестной функции. Алгоритм Роббинса-Монро | 61 |
1.4.2 Минимизация функционала среднего риска | 63 |
1.4.3 Процедура Кифера-Вольфовица | 64 |
1.4.4 Рандомизированные алгоритмы стохастической аппроксимации | 65 |
1.4.5 Пассивная стохастическая аппроксимация | 66 |
1.4.6 Модификации алгоритмов СА | 67 |
1.5 Алгоритмы случайного поиска | 73 |
1.6 Элементы теории оценивания | 74 |
1.6.1 Метод эмпирического функционала | 74 |
1.6.2 Байесовские оценки | 76 |
1.6.3 Метод максимума правдоподобия | 79 |
1.6.4 Достижимая точность оценивания | 82 |
1.7 Оценивание при ограниченных помехах | 85 |
1.7.1 Случайный сигнал, наблюдаемый на фоне ограниченных помех | 86 |
1.7.2 Метод рекуррентных целевых неравенств. Конечно-сходящиеся алгоритмы | 87 |
1.7.3 Алгоритм «полоска» | 90 |
1.7.4 Стабилизирующий алгоритм «модифицированная полоска» при управлении линейным объектом | 91 |
1.7.5 Метод эллипсоидов | 95 |
|
Глава 2. Линейные задачи оценивания и оптимизации при почти произвольных помехах | 97 |
2.1 Оценка параметров линейной регрессии с произвольными помехами | 97 |
2.1.1 Постановка задачи, основные предположения | 99 |
2.1.2 Оценивание по методу стохастической аппроксимации | 101 |
2.1.3 Оценки по методу наименьших квадратов | 104 |
2.2 Авторегрессия, скользящее среднее | 105 |
2.2.1 Применение к моделям авторегрессии | 107 |
2.2.2 Оценивание параметров модели скользящего среднего | 109 |
2.2.3 Идентификация динамического объекта | 111 |
2.2.4 Пробный сигнал | 113 |
2.2.5 Введение параметра оценивания | 114 |
2.2.6 Рандомизированный алгоритм идентификации | 118 |
2.3 Фильтрация случайных процессов | 120 |
2.3.1 Предсказание случайного процесса, наблюдаемого на фоне произвольных ограниченных помех | 121 |
2.3.2 Отслеживание дрейфа параметров модели линейной регрессии | 124 |
2.3.3 Необходимые и достаточные условия стабилизации оценок | 125 |
2.3.4 Анализ свойств оценок при различных типах помех | 127 |
2.4 Экспериментальные результаты | 133 |
2.4.1 Задача об обнаружении сигнала при неизвестных, но ограниченных неслучайных помехах | 133 |
2.4.2 Фильтрация (предсказание) случайного процесса | 137 |
2.4.3 Оценивание изменяющихся параметров сигнала | 140 |
2.5 Доказательства теорем 2.1-2.6 | 142 |
|
Глава 3. Рандомизированные алгоритмы стохастической оптимизации | 156 |
3.1 Формулировки и обоснования | 157 |
3.1.1 Постановка задачи и основные предположения | 162 |
3.1.2 Пробное возмущение и рандомизированные алгоритмы | 164 |
3.1.3 Сходимость оценок с вероятностью единица и в среднеквадратичном смысле | 165 |
3.1.4 Дифференцирующие ядра и выбор распределения пробного возмущения | 168 |
3.1.5 Скорость сходимости оценок | 170 |
3.2 Оптимальные порядки точности | 173 |
3.2.1 Минимаксный порядок скорости сходимости рандомизированных алгоритмов | 173 |
3.2.2 Нижняя граница для асимптотической скорости сходимости | 174 |
3.3 Экспериментальные результаты | 175 |
3.3.1 Сравнительное моделирование оценок ККВ и SPSA алгоритмов | 175 |
3.3.2 Пошаговое выполнение алгоритма | 178 |
3.4 Доказательства теорем 3.1 и 3.2 | 179 |
|
Глава 4. Применения рандомизированных алгоритмов | 188 |
4.1 Определение химического состава мишени | 191 |
4.2 Адаптивное управление | 194 |
4.2.1 Рандомизированный алгоритм идентификации | 197 |
4.2.2 Адаптивная l1 оптимизация | 200 |
4.2.3 Адаптивное оптимальное управление неминимально-фазовым объектом второго порядка | 206 |
4.3 Обучающиеся системы | 212 |
4.3.1 Аппроксимация функции с помощью линейной комбинации известных функций | 212 |
4.3.2 Модель обучаемой системы. Нейронные сети | 214 |
4.3.3 Задача самообучения | 219 |
4.3.4 Синхронизация сигналов светофоров при управлении движением на сети дорог | 223 |
4.3.5 Оптимальный выбор целей для систем оружия | 224 |
4.3.6 Поиск скрытых объектов с помощью ЭЛО | 225 |
4.3.7 Исследование ритмической структуры стихов | 226 |
4.4 Оптимизация систем реального времени | 228 |
4.4.1 Отслеживание дрейфа экстремума нестационарного функционала | 228 |
4.4.2 Оптимизация работы маршрутизатора | 229 |
4.4.3 Оптимизация работы сервера | 233 |
4.4.4 Расчёт цен опционов | 234 |
4.5 Квантовые компьютеры | 240 |
4.6 Доказательство лемм 4.1-4.3. | 242 |
|
Приложение. Некоторые необходимые математические сведения | 249 |
П.1 Теория вероятностей | 249 |
П.1.1 Случайные величины | 249 |
П.1.2 Некоторые неравенства для случайных величин | 251 |
П.1.3 Закон больших чисел для независимых случайных величин | 251 |
П.1.4 Стационарные случайные процессы | 252 |
П.1.5 Последовательности случайных величин, близкие к супермартингалам | 254 |
П.2 Сведения из разных областей | 255 |
П.2.1 Сходимость некоторых числовых последовательностей | 255 |
П.2.2 Некоторые матричные соотношения | 256 |
П.2.3 Факторизация матричных функций | 258 |
П.З Сходимость рекуррентных алгоритмов | 259 |
П.3.1 Линейный случай | 259 |
П.3.2 Метод стохастической функции Ляпунова | 260 |
П.3.3 Метод ОДУ для исследования сходимости рекуррентных алгоритмов | 263 |
|
Заключение | 271 |
Список литературы | 273 |
Предметный указатель | 289 |