Валентинов В.А. Эконометрика. Лекция 5. Оценка параметров линейных уравнений

регрессии (модуль 2)
5.1. Построение линейной модели
5.2. Основные понятия регрессионного анализа
5.3.

Изучение зависимости У от Х
5.4. Постановка задачи метода наименьших квадратов

регрессии (модуль 2)
5.1. Построение линейной модели
Рассмотрим простейшую модель

экономического процесса, состоящую из одного уравнения, которое содержит только две переменные. Обозначив переменные буквами У и Х, мы постулируем между ними зависимость
У=f(Х)+ ε.
Простейшим соотношением между двумя переменными является линейная связь между ними:
У = α+βХ+ε, σε2 ,
где α, β – неизвестные параметры,
ε – случайное возмущение, которое отражает влияние: тех факторов, которые не вошли в модель, ошибок наблюдений или измерений.
σε2 - дисперсия возмущения. (Ф 5.1, Ф5.2, Ф5.4, Ф 5.5)
Параметры α, β и дисперсия σε2 неизвестны.
Мы хотим на основании наших выборочных наблюдений над У и Х статистически оценить параметры α, β с помощью следующей регрессионной модели:
У = а + bХ+е,
где а, b - коэффициенты, которые являются оценками параметров α и β,
е – остатки модели, которые являются оценками возмущения ε.

регрессии (модуль 2)
Задача 5.1
Имеются численные значения двух

показателей: количество продавцов и розничного товарооборота по четырем выборочным однородным магазинам одной фирмы, представленные в таблице 5.1.
Таблица 5.1 - База данных по четырем филиалам одной фирмы







Где i - номер магазина фирмы, индекс для переменных,
Х - количество продавцов (чел.),
У - величина розничного товарооборота (тыс. руб.).
Необходимо получить прогноз розничного товарооборота для открывающегося пятого магазина фирмы, в котором ожидается количество продавцов равного пяти.
Полученный прогноз необходим для определения ориентировочной величины плана товарооборота для нового магазина фирмы.

регрессии (модуль 2)
Решение задачи
Приводим анализ задачи для формирования

общекультурной компетенции: «культура анализа объекта изучения»
Анализ задачи можно проводить, как по выделению элементам, так по их анализу.
Анализ задачи по выделению элементов означает следующее:
- задача имеет номер, условие, таблицу данных, пояснение к таблице, что необходимо найти, для чего необходим прогноз;
- таблица данных имеет следующие элементы: название, три колонки и пять строчек, пояснение,
- колонки таблицы имеют соответствующие названия i - номер магазина фирмы, Хi - количество продавцов (чел.), Уi - величина розничного товарооборота (тыс. руб.),
- все ячейки таблицы заполнены,
- в пятой строчке колонки Yi стоит вопрос.
Вывод: задача содержит все необходимые элементы.

регрессии (модуль 2)
Изучение задачи по анализу элементов показывает, что:
- в

условии задачи указано, что анализируемые магазина являются однородными, это означает, что магазины не сильно отличаются по основным признакам: ассортимент, покупательная способность покупателей, машины и оборудование, торговые площади, место расположения, технология и форма обслуживания, оказываемые услуги покупателям, раскладка товара, квалификация продавцов, культура обслуживания, культура общения продавцов между собой, наличие документов на ведение торговли, комфортность торгового зала для покупателей и продавцов, наличие нормативных документов, регламентов и обеспечение безопасности торговли и товаров;
- в первом магазине работает один продавец, который обеспечивает получение товарооборота в 4 тыс. руб.,
- во втором магазине работают 3 продавца, которые обеспечивают получение товарооборота в размере 6 тыс. руб.
Если второй магазин имел бы одинаковые значения факторов, обеспечивающие получение товарооборота, такие как: ассортимент, цена, наличие очереди, торговая площадь, место расположения относительно метро или потока жителей района, покупательной способности покупателей, культуры обслуживания, размещения товара на полках, то товарооборот должен бы составить 3*4 = 12 тыс. руб.
Фактически, товарооборот во втором магазине в два раза меньше своей потенциальной возможности 12/6 = 2 раза, так как помимо влияния числа продавцов на товарооборот оказывает влияние большое количество неучтенных факторов, которые снизили товарооборот во втором магазине.

регрессии (модуль 2)
Очевидно, что количество продавцов влияет на

товарооборот, но при условии наличия очереди.
Если в магазине имеется очередь, то увеличение продавцов будет приводить к увеличению товарооборота, следовательно, товарооборот будет зависеть от количества продавцов.
Если в магазине нет очереди, то увеличение продавцов не приводит к увеличению товарооборота.
Вывод: товарооборот будет зависеть от количества продавцов при условии наличия в магазине очереди. Следовательно, на наличие связи между двумя переменными наложено одно условие.
В третьем магазине работает 2 продавца, которые обеспечивают получение товарооборота 7 тыс. руб.
Аналогичные рассуждения позволяют утверждать, что численные значения факторов, влияющих на товарооборот, не позволяют получить преимущества по сравнению с первым магазином, так как потенциальная возможность третьего магазина составляет 4*2 = 8 тыс. руб.
Общая тенденция зависимости У от Х является прямо пропорциональной.
Вывод: на зависимую переменную влияет большое количество факторов, которые все очень трудно учесть, поэтому выделяют только самые важные для исследования, влияние остальных факторов является случайной составляющей зависимой переменной.

регрессии (модуль 2)
5.3. Изучение зависимости У от Х
Анализ

таблицы 5.1 можно продолжить в направлении изучения зависимости У от Х.
Нам неизвестна зависимость У от Х, поэтому выдвигаем следующие гипотезы:
Предполагаем, что зависимость У от Х можно представить в виде классической нормальной однофакторной линейной модели регрессии.
Приводим описание данной модели:
Уi =  + Xi+ i, i = 1, 2, … , n;
У – случайная величина (стохастическая);
Х – неслучайная (детерминированная) величина;
- нормально распределенная случайная величина со средним ср=0 и дисперсией равной 2 ,
где ,  - неизвестные параметры;
 - неизвестное возмущение;
2 - неизвестная дисперсия возмущения ;
n – объем выборки.
Напомним некоторые основные понятия регрессионного анализа с помощью графического представления данных.
Построение графика зависимости У от факторов Х является первым необходимым этапом любого эконометрического анализа (формирование общекультурной компетенции: культура мышления – представление данных в наглядном виде) см. рис. 5.1.

регрессии (модуль 2)





Рис. 5.1 - Графический анализ данных
Где на

графике 5.1 а0 – свободный коэффициент, а1 – коэффициент влияния Х на У, е – остатки модели.
Проведем аппроксимационную линию так, чтобы разница между фактическими и расчетными значениями розничного товарооборота (остатки) была минимальной.
Если говорить более строго, то необходимо так провести линию, чтобы сумма квадратов остатков была минимальной.

регрессии (модуль 2)
Для оценки параметров ,  и возмущения 

, будем использовать коэффициенты а0, а1 и остатки е следующего линейного парного уравнения регрессии, вычисленных по выборочной совокупности объемом n = 5:
Уi= Урi+еi = а0+а1Хi+еi
где Уi - фактические значения розничного товарооборота;
i – порядковый номер измерения;
а0 – свободный коэффициент линейного уравнения регрессии равный значению Ур при Х = 0;
а1- коэффициент пропорциональности между У и Х, равного приросту Ур при изменении Х на единицу, или сколько товарооборота приходится на одного продавца, или насколько увеличивает товарооборот один продавец, что означает среднюю производительность труда продавцов;

регрессии (модуль 2)
Урi = а0 +а1*Хi - расчетные значения розничного

товарооборота;
еi = Уi - Урi - остатки модели, учитывающие влияние факторов, не включенные в модель.
Визуальный анализ графика зависимости У от Х позволяет приблизительно вычислить коэффициенты однофакторной регрессии.
а0=2,5
а1 =1,7
Ур =2,5+1,7 * Х
Если в уравнение регрессии подставить ожидаемое значение Хож = 5, то можно получить прогнозное значение Упр.
Упр =2,5+1,7*Хож = 2,5+1,7*5 =11 тыс. руб.
Вывод
Для выборочной совокупности фирм зависимость розничного товарооборота от количества продавцов можно представить в виде однофакторного линейного уравнения регрессии:
Уi =2,5+1,7 * Хi+ei.
Средняя производительность труда продавцов составляет 1,7 тыс. руб. на одного продавца.
Если в новой фирме ожидается 5 продавцов, то среднее прогнозное значение товарооборота будет равно 11 тыс. руб.
Однако, коэффициенты а0, а1, определенные по выборки равной пяти будут отличаться от истинных параметров , , которые можно определить по всей генеральной совокупности.
Известно несколько методов оценки параметров модели. Широкое распространение оценки параметров модели получил метод наименьших квадратов.

регрессии (модуль 2)
5.4. Постановка задачи метода наименьших квадратов
Постановка

задачи метода наименьших квадратов: необходимо определить такие значения коэффициентов а0 и а1, при которых сумма квадратов остатков
ei = Уi – (а0 + а1*Хi)
регрессионной модели
Уi = а0 + а1*Хi + ei
будет минимальной.

регрессии (модуль 2)
Задача 5.2
Имеются численные значения двух показателей: количество продавцов

и розничного товарооборота по четырем выборочным однородным филиалам одной фирмы.
Таблица 5.2 - База данных по четырем филиалам одной фирмы








Где i - номер филиала фирмы,
Х - количество продавцов (чел.),
У - величина розничного товарооборота (тыс. руб.).
Необходимо определить такие оптимальные значения коэффициентов а0 и а1 регрессионной модели Уi = а0 + а1*Хi + ei, при которых сумма квадратов остатков будет минимальной ∑еi2 -> min.
 

регрессии (модуль 2)
Решение.
Представим уравнение Уi= a0 + a1*Xi + еi
в

развернутом виде:
4= 1*a0 + 1*a1 + е1
6= 1*a0 + 3*a1 + е2
7= 1*a0 + 2*a1 + е3
10= 1*а0 + 4*а1 + е4
Представим полученную систему уравнений в матричном виде:
У= XА + е,
где

,

,

,

.

регрессии (модуль 2)
Метод наименьших квадратов заключается в том, что он

позволяет определить такие значения коэффициентов а0 и а1, при которых сумма квадратов остатков будет минимальной:
е'е  min, где е= У – ХА.
е'е= (У - ХА)'(У - ХА)= (У' - А'X')(У- ХА)= = У'У - А'Х'У - У'XА + А'X'XА= =У'У - 2*А'Х'У +А'Х'ХА= = У'У - 2*Х'УА + Х'Х(А)2.
Так как справедливы тождественные преобразования:
А'X'У= X'УА, А'Х'XA= X'XA2, У'XА= А'X'У.
Возьмем первую производную от е'е по А, приравняем ее к нулю и определим оценки параметров модели.
d(e'e)
-------- = -2*Х'У + 2*Х'ХА= 0.
dА
После несложных преобразований можно получить.
Х'ХА= Х'У - система нормальных уравнений, представленная в матричном виде.
А = (Х'Х)-1Х'У

регрессии (модуль 2)
А = (Х'Х)-1Х'У- расчетная формула коэффициентов линейной модели

или - оценка параметров модели для генеральной совокупности.
(Х'Х)-1- обратная матрица, полученная от матрицы Х'Х, является матрицей ошибок оценок параметров модели.
Х'- транспонированная матрица, полученная от матрицы Х.
КС
Расчетную формулу коэффициентов модели следует запомнить, так как она будет применяться на протяжении всего курса эконометрии.
Представим систему нормальных уравнений в развернутом виде:
Х'ХА= Х'У или
 

регрессии (модуль 2)
Решим систему уравнений и получим формулы

расчета коэффициентов, представленных в скалярном виде:
 
a0= Уc - a1*Хc,
 где Хc, Ус - средние значения переменных Х и У.
Приводим расчеты коэффициентов в скалярном виде.

У=2,5+1,7*Х+е

регрессии (модуль 2)
Произведем расчеты коэффициентов линейного уравнения с помощью матричных

операций.
Расчетная формула коэффициентов, представленная в матричном виде:
А = (Х'Х)-1Х'У
читается следующим образом: вектор столбец значений коэффициентов уравнения регрессии равен транспонированной матрице Х, умноженной на исходную матрицу Х, от результата умножения ищется обратная матрица, которая умножается на транспонированную матрицу Х, полученный результат умножается на исходную матрицу У.
Выполним действия в той последовательности, как была прочитана формула расчета значений коэффициентов уравнения регрессии.
Исходные значения матриц Х и У