В книге новозеландского учёного представлен широкий набор методов и алгоритмов, применяемых в регрессионном анализе, — метод декомпозиции матриц Холецкого, алгоритм ортогонализации Грама-Шмидта и др. Алгоритмы иллюстрированы простыми числовыми примерами и текстами программ на Бейсике.

Для экономистов и статистиков, преподавателей и студентов вузов.

Трудно переоценить роль вычислений в современной статистике. Собственно вычисление здесь и представляет собой единственно возможный эксперимент, который всегда служил «окончательным судьёй» теоретических споров и научных изысканий. Математическая и прикладная статистика, хотя это до сих пор многими не осознано, всегда была и остается кладезем разного рода вычислительных задач. Великий немецкий математик К. Ф. Гаусс (1777—1855), по-видимому, был первым, кто свёл статистическую задачу оценивания параметров линейной зависимости к решению системы линейных уравнений на основе предложенного им метода наименьших квадратов. В 1944 г. К. Левенберг предложил итеративный метод минимизации суммы квадратов отклонений в нелинейной регрессии, который со времени И. Ньютона и К. Гаусса, по признанию специалистов в области оптимизации, был одним из первых практических итеративных методов минимизации неквадратической функции многих переменных.

Термин «вычислительная статистика» (computational statistics) прочно вошёл в лексикон статистиков. Соответствующий раздел прикладной статистики стал развиваться особенно бурно в последнее время в связи с вторжением компьютерной техники во все сферы человеческой деятельности.

Методам и алгоритмам вычислений в современной статистике и посвящена книга Дж. Мэйндоналда «Вычислительные алгоритмы в прикладной статистике».

Регрессионный анализ — наиболее популярный раздел прикладной статистики. При этом особое значение приобретает проблема выбора устойчивого, экономного алгоритма расчёта регрессий, или, более конкретно, оценок наименьших квадратов. Почти половина книги посвящена этой важной теме. Вычислению оценки наименьших квадратов и более общей проблеме решения системы линейных уравнений с неотрицательно определённой симметричной матрицей уделяется достаточно внимания специалистами по вычислительной математике как у нас в стране, так и за рубежом. Недавно на русский язык была переведена книга Ч. Лоусена, Р. Хенсона «Численное решение задач метода наименьших квадратов» (М.: Наука, 1986), посвящённая непосредственно этой теме. Число алгоритмов для решения задачи нахождения оценки наименьших квадратов на сегодняшний день достаточно велико, большинство из них обсуждаются в книге Дж. Мэйндоналда. Эти алгоритмы, естественно, обладают неодинаковой степенью устойчивости к ошибкам округления, требуют разного объёма памяти ЭВМ и времени счёта. В приведенной ниже таблице (основанной на табл. 19.1 из книги Ч. Лоусена и Р. Хенсона) представлены методы решения задачи наименьших квадратов с оценкой соответствующего числа операций.

Число операций для численных методов решения задачи наименьших квадратов
Метод	Приблизительное число операций
1. Приведение к треугольному виду методом Хаусхолдера	nm2-m3/3
2. Сингулярное разложение:
2.1. прямое применение	2nm2 + 4m3
2.2. приведение к треугольной матрице методом Хаусхолдера	nm2+17m3/3
3. Метод Грама-Шмидта (классический или модифицированный)	nm2
4. Решение нормальных уравнений методом Холецкого	m3/6+nm2/2
5. Решение нормальных уравнений методом Гаусса-Жордана (для пошаговой регрессии)	m3/3+nm2/2
6. Спектральный анализ нормальных уравнений	16m3/3+nm2/2
Замечание. Добавочный член nm2/2 в последних трёх методах связан с формированием матрицы нормальных уравнений (точнее, он равен nm(m+1)/2. Здесь n — объем выборки, m — число коэффициентов регрессии.

Задача решения системы линейных уравнений возникает в связи с численным нахождением оценки параметров регрессии, и это накладывает свой, «статистический» отпечаток на всю вычислительную работу. Статистика (в отличие от вычислителя) интересуют не только значения оценок наименьших квадратов, но и их дисперсии, которые пропорциональны диагональным элементам матрицы, обратной к матрице системы нормальных уравнений. Таким образом, необходимость вычисления диагональных элементов обратной матрицы заставляет либо вообще отказаться от некоторых методов, перечисленных в таблице, либо требует их модификации, в результате которой были бы найдены не только решения системы нормальных уравнений, но и диагональные элементы обратной матрицы. Последнее требование заставляет вообще отказаться от некоторых методов вычисления оценок наименьших квадратов и обратиться к новым алгоритмам, ранее не принимавшихся во внимание. Более того, поскольку статистика часто интересуют не только дисперсии оценок, но и их ковариации (необходимые, например, при расчёте дисперсии прогноза), лучший метод решения задачи вычисления оценки наименьших квадратов следует искать среди методов обращения симметричных, положительно (или неотрицательно) определённых матриц (похоже, что одним из наиболее экономных методов обращения симметричных, положительно определённых матриц служит метод выметания (sweeping), при этом приблизительное число операций равно 2m3 + nm2/2).

Статистический подход к проблеме вычисления оценки метода наименьших квадратов привносит ещё один методологический нюанс в поиск наиболее эффективного алгоритма. Есть основания считать, что особо эффективный алгоритм и не нужен. Вспомним поучительную дискуссию, развернувшуюся вокруг исследования, проведённого в 1967 г. Дж. Лонгли с целью анализа качества программ для решения задачи наименьших квадратов. Лишь благодаря настольному калькулятору, работавшему с 40 значащими цифрами, Дж. Лонгли удалось найти удовлетворительное (можно считать, абсолютно точное) решение одной регрессионной задачи. Таким образом, программы в большинстве своём были признаны им неудовлетворительными. Спустя 9 лет, его соотечественники А. Битон, Д. Рубин и Дж. Бароне вернулись к ставшей знаменитой «регрессии Лонгли». Они заметили, что отвергнутые ранее программы давали очень высокое значение дисперсии оценок даже в том случае, когда соответствующие оценки не совпадали не только по первым значащим цифрам с «точным» решением Лонгли, но и по знакам. «Зачем нужны нам точные решения, если заведомо они неустойчивы к даже ничтожным изменениям зависимой переменной?» — задавали естественный вопрос авторы более позднего исследования (более подробное обсуждение «регрессии Лонгли» читатель найдет в книге [Демиденко Е. 3. Линейная и нелинейная регрессия. — М.: Финансы и статистика, 1981]).

Само собой разумеется, что пределы поиска эффективного и наиболее точного алгоритма должны быть разумными. Алгоритм решения задачи наименьших квадратов должен быть, помимо всего прочего, экономным и по возможности адаптивным. Последнее означает, что при расчёте новой регрессии с добавочными или исключёнными факторами результаты предыдущих вычислений должны быть максимально использованными. Подобное свойство алгоритма позволяет достаточно быстро организовать выбор наилучшей регрессии, который в свою очередь можно осуществить либо полным перебором, либо методом включения всех возможных (потенциальных) факторов регрессии, либо методом их исключения.

В одной работе трудно подробно описать все вычислительные схемы и алгоритмы, применяемые сегодня в прикладной статистике. Автор ограничивается иногда лишь кратким упоминанием, схематичным описанием того или иного метода. Для более подробного ознакомления читатель может обратиться к литературе, приведённой в конце книги.

В заключение отметим, что книга Дж. Мэйндоналда окажет существенную пользу специалистам по прикладной статистике и вычислительной математике, а также программистам. Она будет полезна всем, кого заинтересует использование вычислительных схем и алгоритмов в современных статистических исследованиях.

ПРЕДИСЛОВИЕ К РУССКОМУ ИЗДАНИЮ
Е. 3. Демиденко

Книги на ту же тему

1. Численное решение систем линейных алгебраических уравнений, Форсайт Д., Моулер К., 1969
2. Вычислительная линейная алгебра. Теория и приложения, Деммель Д., 2001
3. Анализ данных и регрессия: В 2-х вып. (комплект из 2 книг), Мостеллер Ф., Тьюки Д., 1982
4. Численные методы для симметричных линейных систем: Прямые методы, Икрамов Х. Д., 1988
5. Статистические задачи с мешающими параметрами, Линник Ю. В., 1966
6. Прикладной многомерный статистический анализ, 1978
7. Математическая статистика, Уилкс С., 1967
8. Многомерные статистические методы: Для экономистов и менеджеров, Дубров А. М., Мхитарян В. С., Трошин Л. И., 2000
9. Анализ временных рядов, Хеннан Э., 1964
10. Прикладной регрессионный анализ, Дрейпер Н., Смит Г., 1973
11. Справочник по прикладной статистике. В 2-х томах (комплект из 2 книг), Ллойд Э., Ледерман У., ред., 1990
12. Теоретическая и прикладная статистика, Дюге Д., 1972
13. Робастность в статистике, Хьюбер Д. П., 1984
14. Таблицы по математической статистике, Мюллер П., Нойман П., Шторм Р., 1982
15. Знаковый статистический анализ линейных моделей, Болдин М. В., Симонова Г. И., Тюрин Ю. Н., 1997
16. Асимптотические методы в математической статистике, Барндорф-Нильсен О., Кокс Д., 1999
17. Основы прикладной статистики, Мелник М., 1983
18. Задачи по математической статистике, Чибисов Д. М., Пагурова В. И., 1990
19. Теория вероятностей. Математическая статистика, Бочаров П. П., Печинкин А. В., 1998
20. Статистические методы анализа и планирования экспериментов, Гришин В. К., 1975
21. Машинные имитационные эксперименты с моделями экономических систем, Нейлор Т., 1975
22. Основы линейной алгебры. — 3-е изд., перераб., Мальцев А. И., 1970
23. Основы линейной алгебры и некоторые её приложения. Учебное пособие, Блох Э. Л., Лошинский Л. И., Турин В. Я., 1971
24. Матрицы и вычисления, Воеводин В. В., Кузнецов Ю. А., 1984
25. Введение в алгебру. Часть II. Линейная алгебра: Учебник для вузов. — 3-е изд., Кострикин А. И., 2004
26. Теория матриц. — 3-е изд., Гантмахер Ф. Р., 1967
27. Определители и матрицы. — 2-е изд., Боревич З. И., 1970