Модели регрессии, нелинейные по оцениваемым коэффициентам

Нелинейными по оцениваемым параметрам моделями регрессииназываются модели, в которых результативная переменная y_i нелинейно зависит от коэффициентов модели β₀…β_n.

К моделям регрессии, нелинейными по оцениваемым параметрам, относятся:

1) степенная функция:

2) показательная или экспоненциальная функция:

3) логарифмическая парабола:

4) экспоненциальная функция:

5) обратная функция:

6) кривая Гомперца:

7) логистическая функция или кривая Перла-Рида:

Кривыми насыщения называются показательная, логарифмическая и экспоненциальная функции, т. к. будущий прирост результативной переменной зависит от уже достигнутого уровня функции.

Кривые насыщения применяются для характеристики явлений и процессов, величина роста которых является ограниченной величиной (например, в демографии).

Определение. S-образными кривыми называются кривая Гомперца и кривая Перла-Рида. Данные кривые представляют собой кривые насыщения с точкой перегиба.

S-образные кривые применяются для характеристики явлений, включающий в себя два последовательных процесса – ускорения и замедления достигнутого уровня развития. Подобные явления характерны для демографии, страхования и других областей.

Модели регрессии, нелинейные по оцениваемым коэффициентам, делятся на два класса:

1) модели регрессии, которые можно с помощью преобразований привести к линейному виду;

2) модели регрессии, которые невозможно привести к линейному виду.

Рассмотрим первый класс моделей регрессии.

Показательная функция вида

является нелинейной по коэффициенту β₁ и относится к классу моделей регрессии, которые можно с помощью преобразований привести к линейному виду. Данная модель характеризуется тем, что случайная ошибка ε_i мультипликативно связана с факторной переменной хi.

Данную модель можно привести к линейному виду с помощью логарифмирования:

Log y_i=log β₀+ хi* logβ₁+ logεi.

Для более наглядного представления данной модели регрессии воспользуемся методом замен:

log y_i=Y_i;

log β₀=A;

logβ₁=B;

logεi=E.

В результате произведённых замен получим окончательный вид показательной функции, приведённой к линейной форме:

Y_i=A+Bхi+E.

Таким образом, можно сделать вывод, что рассмотренная показательная функция является внутренне линейной, поэтому оценки неизвестных параметров её линеаризованной формы можно рассчитать с помощью классического метода наименьших квадратов.

Другим примером моделей регрессии первого класса является степенная функция вида:

Данная модель характеризуется тем, что случайная ошибка β_i мультипликативно связана с факторной переменной хi.

Данную модель можно привести к линейному виду с помощью логарифмирования:

lny_i=lnβ₀+β₁ lnхi + lnε_i.

Для более наглядного представления данной модели регрессии воспользуемся методом замен:

ln y_i=Y_i;

ln β₀=A;

lnхi=X_i;

lnε_i=E.

В результате произведённых замен получим окончательный вид показательной функции, приведённой к линейной форме:

Y_i=A+β₁X_i+E.

Таким образом, можно сделать вывод, что рассмотренная степенная функция является внутренне линейной, поэтому оценки неизвестных параметров её линеаризованной формы можно рассчитать с помощью классического метода наименьших квадратов.

Рассмотрим второй класс моделей регрессии, нелинейных по оцениваемым коэффициентам.

Показательная функция вида

относится к классу моделей регрессии, которые невозможно привести к линейной форме путём логарифмирования. Данная модель характеризуется тем, что случайная ошибка β_i аддитивно связана с факторной переменной хi.

Степенная функция вида

относится к классу моделей регрессии, которые невозможно привести к линейной форме путём логарифмирования. Данная модель характеризуется тем, что случайная ошибка εi аддитивно связана с факторной переменной хi.

Таким образом, для оценки неизвестных параметров моделей регрессии, которые нельзя привести к линейному виду, нельзя применять классический метод наименьших квадратов. В этом случае используются итеративные процедуры оценивания (квази-ньютоновский метод, симплекс-метод, метод Хука-Дживса, метод Розенброка и др.).