[9] Алгоритмы и программы восстановления зависимостей. / Под

Восстановление функциональных закономерностей из
эмпирических данных
Автор: профессор, д.ф.-м.н. Червоненкис Алексей Яковлевич
Лекция 1. Задача восстановления зависимостей. Интерпретация в терминах выбора
функции из заданного класса. Интерпретация в терминах выбора модели из заданного
класса моделей. Интерпретация в терминах имитации одного автомата другим. (Нет
алгоритмов).
Лекция 2. Примеры конкретных задач (регрессия, идентификация моделей,
распознавание образов и их приложения). Истинный риск и эмпирический риск, как
его возможный эквивалент. Основания, по которым такая замена представляется
разумной. Закон больших чисел. (Стандартные статистические пакеты: вычисление
среднего, дисперсии, ковариации, корреляции и т.д. и погрешности их оценивания).
Лекция 3. Метод наименьших квадратов для оценки регрессии. Метод максимального
правдоподобия для выбора модели. (Стандартные процедуры регрессии и максимума
правдоподобия).
Лекция 4. Поиск решающего правила, минимизирующего число ошибок или среднее
значение функции штрафа на данных обучения, в задачах распознавания образов.
Метод ближайшего соседа. Линейные решающие правила. Сравнение с
дискриминантной функцией Фишера. (Стандартная процедура распознавания по
ближайшему соседу. Процедуры нахождения дискриминантной функции и линейного
программирования.)
Лекция 5. Персептрон. Потенциальные функции. Нейронные сети. Вычислительные
возможности и проблемы. (Стандартные процедуры обучения нейронных сетей).
Лекция 6. Машина опорных векторов (SVM). (Стандартная процедура).
Лекция 7. Критика подхода. Примеры, когда он не работает. Проблема равномерной
сходимости эмпирического риска к истинному (или частот вероятностям, или средних
к математическим ожиданиям). (Примеры задач, когда использование рассмотренных
методов не приводит к успеху).
Лекция 8. Критерии равномерной сходимости частот к вероятностям. Функция роста.
VC-размерность. Энтропийные критерии. (Алгоритмов нет, только примеры).
Лекция 9. Критерии равномерной сходимости средних к мат. ожиданиям.
Лекция 10. Проблема выбора оптимальной сложности модели.
Литература по курсу
[1] Айвазян С.А., Енюков И.С., Мешалкин Л.Д. Исследование зависимостей. В книге
«Прикладная статистика» / под ред. С.А. Айвазяна. Москва, Финансы и
статистика, 1985.
[2] Айвазян С.А., Бухштабер В.М., Енюков И.С., Л.Д. Мешалкин. Классификация и
снижение размерности. В книге «Прикладная статистика» / под ред. С.А.
Айвазяна. Москва, Финансы и статистика, 1989.
[3] Бэстенс Д. Э., ван Ден Берг В. М., Вуд Д. Нейронные сети и финансовые рынки.
Принятие решений в торговых операциях.
[4] Вапник В.Н., Червоненкис А.Я. Теория распознавания образов. Москва, Наука
1974.
[5] Вапник В.Н. Восстановление зависимостей по эмпирическим данным. Москва,
Наука 1979.
[6] Вапник В.Н., Червоненкис А.Я. Необходимые и достаточные условия равномерной
сходимости средних к математическим ожиданиям. Теория вероятностей и ее
приложения. 1981, т. 26, № 3, стр. 543-564.
[7] Вапник В.Н., Червоненкис А. ˙Я. О методе упорядоченной минимизации риска. I.
Автоматика и телемеханика, №8, 1974, стр. 21-30.
[8] Вапник В.Н., Червоненкис А. ˙Я. О методе упорядоченной минимизации риска. II.
Автоматика и телемеханика, №9, 1974, стр. 29-39.
[9] Алгоритмы и программы восстановления зависимостей. / Под редакцией В.Н.
Вапника. Москва, Наука 1984.
[10] Галушкин А.И. Теория нейронных сетей. Т.1. Нейрокомпьютеры и их
применение. Изд-во ИПРЖР, 2000.
[11] Гельфанд И.М. Лекции по линейной алгебре. Добросвет, 2007.
[12] Гнеденко Б.В. Курс теории вероятностей. М.: Наука, Главная редакция физикоматематической литературы, 1965.
[13] Колмогоров А.Н., Фомин С.В. Элементы теории функций и функционального
анализа. М.: Физматлит, Издание 7-е, 2006.
[14] Круглов В.В., Борисов В.В. Искусственные нейронные сети. Теория и практика.
Изд-во Горячая ЛинияТелеком.
[15] Лаврентьев М.М., Савельев Л.Я. Линейные операторы и некорректные задачи.
М.: Наука, 1991.
[16] Льюнг Л. Идентификация систем. Теория для пользователя.
[17] Носко В.П. Эконометрика для начинающих. М.: Институт экономики
переходного периода, 2000.
[18] Тихонов А.Н., Арсенин В.Я. Методы решения некорректных задач. М.: Наука,
1979.
[19] Турчин В.Ф., Козлов В.П., Малкевич М.С. Использование методов
математической статистики для решения некорректных задач. УФН 1970, 102:
345-386.
[20] Уилкс C. Математическая статистика. М.: Наука 1967.
[21] Саймон Хайкин. Нейронные сети. Полный курс. Изд-во Вильямс, 2006.
[22] A. Ja. Chervonenkis. A combined Bayes – Maximum likelihood method for regression.
// В книге «Data Fusion and Perception» / edited by Giacomo Della Riccia, HanzJoachim Lenz, Rudolf Kruse. Springer, Wien, New York, 2001.
[23] Jean Paul Chiles, Pierre Delfiner. Geostatistics. Modeling Spatial Uncertainty. Wiley,
Series in Probability and Statistics. 1999.
[24] Devroye Luc, Gorfi Laslo, Lugosi Gabor A probabilistic theory of pattern recognition.
Springer, 1996.
[25] A. Gammerman, V. Vovk. Hedging prediction in Machine Learning. Computer Journal
50, 151 –157. 2007.
[26] J.D.C. MacKay. Bayesian interpolation. Neural Computation, 4(3): 415-447, 1992.
[27] H. Mohamad. Hassoun Fundamentals of Artificial Neural Networks.
[28] J. Rissanen. Stochactic complexity. Journal of the Royal Statistical Society series B, 49:
223-239. 1987.
[29] V.N. Vapnik. Statistical Learning Theory. Wiley, New York, 1998.
[30] V.N. Vapnik. The Nature of Statistical Learning Theory. Springer, New York, 2000.
[31] V. Vovk, A. Gammerman and G. Shafer. Algorithmic learning in a random world.
Springer, 2004.
[32] C. S.Wallace and P.R. Freeman. Estimation and inference by compact coding. Journal
of the Royal Statistical Society series B, 49: 240-265. 1987.