Доступный обобщённый метод наименьших квадратов. Взвешенный метод наименьших квадратов

Если случайные ошибки модели регрессии подвержены процессу автокорреляции, то для оценивания неизвестных коэффициентов модели регрессии применяется доступный обобщённый метод наименьших квадратов.

Основное отличие доступного обобщённого метода наименьших квадратов от обобщённого метода заключается в оценке матрицы ковариаций β случайных ошибок обобщенной линейной модели регрессии.

Оценки неизвестных коэффициентов обобщённой модели регрессии рассчитываются с помощью доступного обобщённого метода наименьших квадратов по формуле:

где

– оценка матрицы ковариаций случайных ошибок обобщённой линейной модели регрессии.

Предположим, что на основе собранных данных была построена модель парной регрессии вида:

y_t=β₀+β₁x_t+ε_t.(1)

Рассмотрим процесс оценивания матрицы ковариаций случайных ошибок модели с автокоррелированными, но гомоскедастичными остатками на примере данной модели.

Если остатки данной модели регрессии подчиняются авторегрессионному процессу первого порядка, то исходную модель регрессии можно представить в виде:

y_t=β₀+β₁x_t+ρε_t-1+ν_t,.

ε_t=ρε_t-1+ν_t,

где ρ – коэффициент автокорреляции, |ρ|<1;

ν_t – независимые, одинаково распределённые случайные величины с нулевым математическим ожиданием и дисперсией G²(ν_t).

Математическое ожидание случайной ошибки модели регрессии равно нулю:

E(ε_t)=E(ρε_t-1+ν_t)= ρE(ε_t-1)+E(ν_t)=0.

Предположим, что дисперсия случайной ошибки модели регрессии рассчитывается по формуле:

Рассчитаем ковариацию между двумя соседними случайными ошибками модели регрессии ε2 и ε1:

Рассчитаем ковариацию между следующими случайными ошибками модели регрессии ε3 и ε1:

Дальнейший процесс расчёта ковариаций для всех случайных ошибок обобщенной модели регрессии осуществляется по тому же принципу.

В результате проведённых вычислений матрицу корреляций остатков обобщённой линейной модели регрессии можно представить следующим образом:

где G²(νi) – это величина дисперсии случайной ошибки модели регрессии. Её выборочную оценку определяется по формуле:

где T – объём выборочной совокупности;

h – число оцениваемых по выборке параметров.

Если случайные ошибки модели регрессии подвержены гетероскедастичности (но являются неавтокоррелированными), то для оценивания неизвестных коэффициентов модели регрессии применяется взвешенный метод наименьших квадратов.

Суть взвешенного метода наименьших квадратов состоит в том, что остаткам обобщённой модели регрессии придаются определённые веса, которые равны обратным величинам соответствующих дисперсий G²(ε_i). Однако на практике значения дисперсий являются величинами неизвестными, поэтому для вычисления наиболее подходящих весов используется предположение о том, что они пропорциональны значениям факторных переменных x_t.

Таким образом, матрица ковариаций случайных ошибок модели регрессии определяется исходя из предположения о пропорциональности величины G²(ε_i) значениям факторной переменной x_t:

x_t=γ G(ε_i),

где γ – ошибка высказанного предположения или некоторая поправка.

В этом случае матрица ковариаций случайных ошибок модели регрессии может быть представлена в виде:

От точности оценки матрицы ковариаций Ω случайных ошибок модели регрессии зависит удовлетворение оценок неизвестных коэффициентов, полученных доступным обобщённым или взвешенным методом наименьших квадратов, основным статистическим свойствам – несмещённости, состоятельности и эффективности.