Вопрос №4: Предпосылки метода наименьших квадратов

Вопрос №4: Предпосылки метода наименьших квадратов,
гомоскедастичность, гетероскедастичность, понятие о методе
максимального правдоподобия.
Метод наименьших квадратов — один из методов регрессионного анализа для
оценки неизвестных величин по результатам измерений, содержащих случайные ошибки.
Метод наименьших квадратов применяется также для приближённого представления
заданной функции другими (более простыми) функциями и часто оказывается полезным
при обработке наблюдений.
Предпосылки
При проведении регрессионного анализа методом МНК важно учитывать
предпосылки этого метода, одной из которых является равенство дисперсий случайных
отклонений. Выполнение данной предпосылки называется гомоскедастичностью,
невыполнение - гетероскедастичностью.
Статистические проверки параметров регрессии и показателей корреляции
основаны на непроверяемых предпосылках о распределении этой случайной
составляющей множественной регрессии.
Эти предположения носят всего лишь предварительный характер. Только после
построения уравнения регрессии проверяют наличие у оценок случайных остатков.
По существу, когда оценены параметры модели, то рассчитывают разности
теоретических и фактических значений результативного признака, чтобы таким образом
оценить саму случайную составляющую. Важно иметь в виду, что это всего лишь
выборочная реализация неизвестного остатка заданного уравнения.
Состоятельность
Оценки должны иметь наименьшую дисперсию, т.е. являться эффективными, и
тогда появляется возможность перехода от практически малопригодных точечных оценок
к интервальному оцениванию. Наконец, доверительные интервалы применимы с
большой степенью эффективности, когда вероятность получения оценки на заданном
расстоянии от истинного (неизвестного) значения параметра близка к единице. Такие
оценки называются состоятельными, и свойство состоятельности характеризуется
увеличением их точности с увеличением объема выборки.
Гомоскедастичность и гетероскедастичность
Гомоскедастичность или гомогенность дисперсии — состояние, при котором измерения
вариативности колеблются внутри диапазона, ожидаемого при случайной вариативности.
Гомоскедастичность выражается постоянством дисперсии для всех наблюдений:
Гетероскедастичность — состояние, при котором измерения вариативности являются
большими, чем ожидаемые случайно.
Гетероскедастичность заключается в нарушении такого постоянства дисперсии для
различных наблюдений.
Метод максимального правдоподобия
Метод максимального правдоподобия (также метод наибольшего правдоподобия) —
это метод оценивания неизвестного параметра путём максимизации функции
правдоподобия.
Основан на предположении о том, что вся информация о статистической выборке
содержится в функции правдоподобия. Метод максимального правдоподобия был
проанализирован, рекомендован и значительно популяризирован Р. Фишером.
Оценка максимального правдоподобия является популярным статистическим методом,
который используется для создания статистической модели на основе данных, и
обеспечение оценки параметров модели.
Определение
Пусть есть выборка
параметр. Пусть
оценка
из распределения
, где
— неизвестный
— функция правдоподобия, где
. Точечная
называется оценкой максимального правдоподобия параметра θ. Таким образом оценка
максимального правдоподобия — это такая оценка, которая максимизирует функцию
правдоподобия при фиксированной реализации выборки.