Модели бинарного выбора

Результативная переменная у в нормальной линейной модели регрессии является непрерывной величиной, способной принимать любые значения из заданного множества. Но помимо нормальных линейных моделей регрессии существуют модели регрессии, в которых переменная у должна принимать определённый узкий круг заранее заданных значений.

Моделью бинарного выбора называется модель регрессии, в которой результативная переменная может принимать только узкий круг заранее заданных значений.

В качестве примеров бинарных результативных переменных можно привести:

Приведенные в качестве примеров бинарные переменные являются дискретными величинами. Бинарная непрерывная величина задаётся следующим образом:

Если стоит задача построения модели регрессии, включающей результативную бинарную переменную, то прогнозные значения y_iпрогноз, полученные с помощью данной модели, будут выходить за пределы интервала [0;+1] и не будут поддаваться интерпретации. В этом случае задача построения модели регрессии формулируется не как предсказание конкретных значений бинарной переменной, а как предсказание непрерывной переменной, значения которой заключаются в интервале [0;+1].

Решением данной задачи будет являться кривая, удовлетворяющая следующим трём свойствам:

1. F(–∞)=0;
2. F(+∞)=1;
3. F(x1)>F(x2) при условии, что x1> x2.

Данным трём свойствам удовлетворяет функция распределения вероятности.

Модель парной регрессии с результативной бинарной переменной с помощью функции распределения вероятности можно представить в следующем виде:

prob(y_i=1)=F(β₀+β₁x_i),

где prob(y_i=1) – это вероятность того, что результативная переменная y_i примет значение, равное единице.

В этом случае прогнозные значения y_iпрогноз, полученные с помощью данной модели, будут лежать в пределах интервала [0;+1].

Модель бинарного выбора может быть представлена с помощью скрытой или латентной переменной следующим образом:

Векторная форма модели бинарного выбора с латентной переменной:

В данном случае результативная бинарная переменная y_i принимает значения в зависимости от латентной переменной y_i*:

Модель бинарного выбора называется пробит-моделью или пробит-регрессией (probit regression), если она удовлетворяет двум условиям:

1) остатки модели бинарного выбора ε_iявляются случайными нормально распределёнными величинами;

2) функция распределения вероятностей является нормальной вероятностной функцией.

Пробит-регрессия может быть представлена с помощью выражения:

NP(y_i)=NP(β₀+β₁x1i+…+βkxki),

где NP – это нормальная вероятность (normal probability).

Модель бинарного выбора называется логит-моделью или логит-регрессией (logit regression), если случайные остатки ε_i подчиняются логистическому закону распределения.

Логит-регрессия может быть представлена с помощью выражения:

Данная модель логит-регрессии характеризуется тем, что при любых значениях факторных переменных и коэффициентов регрессии, значения результативной переменной y_i будут всегда лежать в интервале [0;+1].

Обобщённый вид модели логит-регрессии:

Достоинством данной модели является то, что результативная переменная y_i может произвольно меняться внутри заданного числового интервала (не только от нуля до плюс единицы).

Логит-регрессия относится к классу функций, которые можно привести к линейному виду. Это осуществляется с помощью преобразования, носящего название логистического или логит преобразования, которое можно проиллюстрировать на примере преобразования обычной вероятности р:

Качество построенной логит-регрессии или пробит-регрессии характеризуется с помощью псевдо коэффициента детерминации, который рассчитывается по формуле:

Если значение данного коэффициента близко к единице, то модель регрессии считается адекватной реальным данным.