Метод наименьших квадратов МНК, англ. МНК является одним из базовых методов регрессионного анализа для оценки неизвестных параметров регрессионных моделей по выборочным данным. Гауссу принадлежит первое применение метода, а Лежандр независимо открыл и опубликовал его под современным названием фр. Лаплас связал метод с теорией вероятностей , а американский математик Эдрейн рассмотрел его теоретико-вероятностные приложения [2]. Метод распространён и усовершенствован дальнейшими изысканиями Энке , Бесселя , Ганзена и других. Маркова в начале XX века позволили включить метод наименьших квадратов в теорию оценивания математической статистики, в которой он является важной и естественной частью. Рао было получено множество немаловажных результатов в этой области [3]. Таким образом, сущность МНК может быть выражена следующим образом:. В случае, если система уравнений имеет решение, то минимум суммы квадратов будет равен нулю и могут быть найдены точные решения системы уравнений аналитически или, например, различными численными методами оптимизации. Такая система уравнений в общем случае не имеет решения. Нетрудно показать, что решение этой задачи минимизации приводит к решению следующей системы уравнений. Используя оператор псевдоинверсии , решение можно переписать так:. Строгое обоснование и установление границ содержательной применимости метода даны А. В регрессионном анализе и в частности в эконометрике используются вероятностные модели зависимости между переменными. Residual Sum of Squares [4] определяется как:. В общем случае решение этой задачи может осуществляться численными методами оптимизации минимизации. Во многих случаях можно получить аналитическое решение. Матричное представление линейной модели имеет вид:. Для аналитических целей оказывается полезным последнее представление этой формулы в системе уравнений при делении на n, вместо сумм фигурируют средние арифметические. В частности, в крайнем случае, когда единственным регрессором является константа, получаем, что МНК-оценка единственного параметра собственно константы равна среднему значению объясняемой переменной. Система уравнений имеет вид:. В этом случае вместо системы уравнений имеем единственное уравнение. Следовательно, матричные уравнения в данном случае примут вид:. В первую очередь, отметим, что для линейных моделей МНК-оценки являются линейными оценками, как это следует из вышеприведённой формулы. Для несмещенности МНК-оценок необходимо и достаточно выполнения важнейшего условия регрессионного анализа: Данное условие, в частности, выполнено, если. Первое условие можно считать выполненным всегда для моделей с константой, так как константа берёт на себя ненулевое математическое ожидание ошибок поэтому модели с константой в общем случае предпочтительнее. Если это свойство не выполнено, то можно считать, что практически любые оценки будут крайне неудовлетворительными: В классическом случае делается более сильное предположение о детерминированности факторов, в отличие от случайной ошибки, что автоматически означает выполнение условия экзогенности. Для того, чтобы кроме состоятельности и несмещенности , оценки обычного МНК были ещё и эффективными наилучшими в классе линейных несмещенных оценок необходимо выполнение дополнительных свойств случайной ошибки:. Линейная модель, удовлетворяющая таким условиям, называется классической. Как нетрудно показать, ковариационная матрица вектора оценок коэффициентов будет равна:. Однако рассчитать ковариационную матрицу невозможно, поскольку дисперсия случайных ошибок неизвестна. Можно доказать, что несмещённой и состоятельной для классической линейной модели оценкой дисперсии случайных ошибок является величина:. Подставив данное значение в формулу для ковариационной матрицы и получим оценку ковариационной матрицы. Полученные оценки также являются несмещёнными и состоятельными. Важно также то, что оценка дисперсии ошибок а значит и дисперсий коэффициентов и оценки параметров модели являются независимыми случайными величинами, что позволяет получить тестовые статистики для проверки гипотез о коэффициентах модели. Необходимо отметить, что если классические предположения не выполнены, МНК-оценки параметров не являются наиболее эффективными оценками оставаясь несмещёнными и состоятельными. Это означает, что статистические выводы о качестве построенной модели в таком случае могут быть крайне недостоверными. Одним из вариантов решения последней проблемы является применение специальных оценок ковариационной матрицы, которые являются состоятельными при нарушениях классических предположений стандартные ошибки в форме Уайта и стандартные ошибки в форме Ньюи-Уеста. Другой подход заключается в применении так называемого обобщённого МНК. Метод наименьших квадратов допускает широкое обобщение. Обычный МНК является частным случаем данного подхода, когда весовая матрица пропорциональна единичной матрице. Доказано теорема Айткена , что для обобщенной линейной регрессионной модели в которой на ковариационную матрицу случайных ошибок не налагается никаких ограничений наиболее эффективными в классе линейных несмещенных оценок являются оценки т. Фактически сущность ОМНК заключается в определенном линейном преобразовании P исходных данных и применении обычного МНК к преобразованным данным. Фактически данные преобразуются взвешиванием наблюдений делением на величину, пропорциональную предполагаемому стандартному отклонению случайных ошибок , а к взвешенным данным применяется обычный МНК. Материал из Википедии — свободной энциклопедии. Текущая версия страницы пока не проверялась опытными участниками и может значительно отличаться от версии , проверенной 21 апреля ; проверки требуют 23 правки. Обобщенный метод наименьших квадратов. Translated from the French by Professor Henry A. Ruger and Professor Helen M. Walker, Teachers College, Columbia University, New York City. При написании этой статьи использовался материал из Энциклопедического словаря Брокгауза и Ефрона — Для улучшения этой статьи желательно: Проставив сноски , внести более точные указания на источники. Переработать оформление в соответствии с правилами написания статей. Найти и оформить в виде сносок ссылки на независимые авторитетные источники , подтверждающие написанное. Эконометрика Регрессионный анализ Теория оценивания. Статьи без сносок Википедия: Статьи к переработке Википедия: Статьи без ссылок на источники Википедия: Статьи без источников объекты менее указанного лимита: Навигация Персональные инструменты Вы не представились системе Обсуждение Вклад Создать учётную запись Войти. Пространства имён Статья Обсуждение. Просмотры Читать Текущая версия Править Править вики-текст История. Эта страница последний раз была отредактирована 8 мая в Текст доступен по лицензии Creative Commons Attribution-ShareAlike ; в отдельных случаях могут действовать дополнительные условия. Свяжитесь с нами Политика конфиденциальности Описание Википедии Отказ от ответственности Разработчики Соглашение о cookie Мобильная версия.
Пользователь превысил лимит на количество одновременно исполняемых CGI. В данный момент исполнение невозможно. В случае, если вы не можете решить проблему самостоятельно — напишите о ней на support agava. Интернет-услуги и сервисы Хостинг , Colocation , аренда серверов , Раскрутка , Бесплатный хостинг файлов , Владельцам сайтов , Почта , Бизнес и экономика Банки , Инвестиции , Недвижимость , Страхование , Торговля , Работа, Подбор персонала , Курсы, семинары. Автомобили , Телефоны , КПК , Собаки , Кошки , Книги. Регистрация Войти в Личный кабинет. CGI script error Ошибка исполнения CGI приложения Русское описание Пользователь превысил лимит на количество одновременно исполняемых CGI. English description Site has exceeded maximum processes limit Execution of CGI is impossible, try again later. Автомобили , Телефоны , КПК , Собаки , Кошки , Книги Книжный магазин Компьютеры и оргтехника Авто-мото Производство и услуги Туризм и отдых Связь.
https://gist.github.com/ac0681bfba695945c08c37de360d028c
https://gist.github.com/56c32198db2e657a77052a1b4b0b4a98
https://gist.github.com/ee2b35138c443ec0756777e75c2ff126