параметрами b1 and b2, оценка которых есть основная задача регрессионного
анализа, и также имеется выборка из 4-х наблюдений X , значения которой известны.ПРОСТАЯ РЕГРЕССИОННАЯ МОДЕЛЬ
2
b1
Y
Разделы презентаций
- Разное
- Английский язык
- Астрономия
- Алгебра
- Биология
- География
- Геометрия
- Детские презентации
- Информатика
- История
- Литература
- Математика
- Медицина
- Менеджмент
- Музыка
- МХК
- Немецкий язык
- ОБЖ
- Обществознание
- Окружающий мир
- Педагогика
- Русский язык
- Технология
- Физика
- Философия
- Химия
- Шаблоны, картинки для презентаций
- Экология
- Экономика
- Юриспруденция
1 ПРОСТАЯ (ПАРНАЯ) РЕГРЕССИОННАЯ МОДЕЛЬ Лекция 4 /Часть 1/
Содержание
- 1. 1 ПРОСТАЯ (ПАРНАЯ) РЕГРЕССИОННАЯ МОДЕЛЬ Лекция 4 /Часть 1/
- 2. Предположим, что переменная Y есть линейная функция
- 3. Теоретические значения будут лежать на прямой с параметрами b1 и b2.Q1Q2Q3Q4ПРОСТАЯ РЕГРЕССИОННАЯ МОДЕЛЬ 3b1Y
- 4. P4На практике большинство экономических зависимостей (Рi) не
- 5. Причины расхожденияНе включение в модель объясняющей переменной
- 6. P4Каждое значение Y включает неслучайную объясняющую компоненту
- 7. P4На практике можно видеть только Pi точки.
- 8. P4Оцененная регрессионная прямая , предсказывающая
- 9. P4Остаток не совпадает со случайной переменной. Случайное
- 10. P4Остаток – это разница между действительным и оцененным значением.P3P2P1R1R2R3R4ПРОСТАЯ РЕГРЕССИОННАЯ МОДЕЛЬ 13b1b1 Y Y
- 11. P4Используя теоретическую модель, Y можно представить в
- 12. P4На практике значения b1 и b2 неизвестны
- 13. P4Для оцененной прямой в каждом наблюдении можно
- 14. ПРОСТАЯ РЕГРЕССИОННАЯ МОДЕЛЬ Метод наименьших квадратов:Минимизация RSS
- 15. P4При минимизации простых сумм остатки в среднем
- 16. Часть 2Оценка параметров парной регрессии
- 17. ВЫЧИСЛЕНИЕ РЕГРЕССИОННЫХ КОЭФФИЦИЕНТОВ Yb2b1XВычисление коэффициентов по методу
- 18. Вычисление остатков .ВЫЧИСЛЕНИЕ РЕГРЕССИОННЫХ КОЭФФИЦИЕНТОВ Yb2b14X
- 19. ПРОСТОЙ РЕГРЕССИОННЫЙ АНАЛИЗ Критерий минимума RSS равенство первых производных 0.8
- 20. ВЫЧИСЛЕНИЕ РЕГРЕССИОННЫХ КОЭФФИЦИЕНТОВYXРегрессионная прямая.121.501.67
- 21. ОБОБЩЕНИЕ РЕГРЕСИОННОЙ МОДЕЛИXXnX1YПусть имеется выборка из n o наблюдений.13
- 22. ОБОБЩЕНИЕ РЕГРЕСИОННОЙ МОДЕЛИ XXnX1Yb1b2Выбор b1 и b2, по n наблюдениям.14
- 23. ВЫЧИСЛЕНИЕ РЕГРЕССИОННЫХ КОЭФФИЦИЕНТОВВычисление остатков.XXnX1Yb1b216
- 24. ВЫЧИСЛЕНИЕ РЕГРЕССИОННЫХ КОЭФФИЦИЕНТОВ Вычисление RSS.Вычисление коэффициента b117
- 25. ВЫЧИСЛЕНИЕ РЕГРЕССИОННЫХ КОЭФФИЦИЕНТОВ Вычисление b2.25
- 26. ВЫЧИСЛЕНИЕ РЕГРЕССИОННЫХ КОЭФФИЦИЕНТОВ Вычисление b2.28
- 27. ВЫЧИСЛЕНИЕ РЕГРЕССИОННЫХ КОЭФФИЦИЕНТОВ Вычисление b2.29
- 28. ВЫЧИСЛЕНИЕ РЕГРЕССИОННЫХ КОЭФФИЦИЕНТОВ 30
- 29. ВЫЧИСЛЕНИЕ РЕГРЕССИОННЫХ КОЭФФИЦИЕНТОВ XXnX1Yb1b2При выбранных параметрах b1 и b2 сумма квадратов остатков минимальна.32
- 30. ВЫЧИСЛЕНИЕ РЕГРЕССИОННЫХ КОЭФФИЦИЕНТОВ Альтернативное выражение для b2.34
- 31. РАСЧЕТНЫЕ ФОРМУЛЫ КОЭФФИЦИЕНТОВ ПАРНОЙ РЕГРЕССИИВариант 1
- 32. 1ИНТЕРПРЕТАЦИЯ РЕГРЕССИОННЫХ КОЭФФИЦИЕНТОВДанные National Longitudinal Survey of
- 33. ИНТЕРПРЕТАЦИЯ РЕГРЕССИОННЫХ КОЭФФИЦИЕНТОВ ^Регрессионная прямая по данным
- 34. 19Область корректности регрессионного уравнения.ИНТЕРПРЕТАЦИЯ РЕГРЕССИОННЫХ КОЭФФИЦИЕНТОВ
- 35. 20Другое решение задачи с помощью нелинейной аппроксимации дает более правдоподобное решение. ИНТЕРПРЕТАЦИЯ РЕГРЕССИОННЫХ КОЭФФИЦИЕНТОВ
- 36. 20Интерпретация параметра при регрессоре Параметр а1
- 37. 20Интерпретация свободного члена регрессии Параметр а0
- 38. Три следствия:КАЧЕСТВО ОЦЕНКИ6.
- 39. КАЧЕСТВО ОЦЕНКИTSS (Total Sum of Squares) –
- 40. КАЧЕСТВО ОЦЕНКИ. Коэффициент детерминации Минимизация квадратов остатков
- 41. Часть 3Теорема Гаусса-Маркова
- 42. Регрессионная модель: Y = b1 + b2X
- 43. Регрессионная модель : Y = b1 +
- 44. Регрессионная модель : Y = b1 +
- 45. Регрессионная модель: Y = b1 + b2X
- 46. Регрессионная модель : Y = b1 +
- 47. Теорема Гаусса-МарковаЕсли случайные возмущения Ui удовлетворяют перечисленным
- 48. НЕСМЕЩЕННОСТЬ ОЦЕНОК b1 И b2 так как Е(Cov(X, u)) =0 31
- 49. НЕСМЕЩЕННОСТЬ b1 и b2Поскольку X не случайна, то его значение можно вынести за знак ожидания.
- 50. НЕСМЕЩЕННОСТЬ b1 и b2E(b1) = b1. Значит b1 – это несмещенная оценка b1.
- 51. Простая регрессионная модель: Y = b1 +
- 52. Стандартное отклонение регрессионных коэффициентовТОЧНОСТЬ РЕГРЕССИОННЫХ КОЭФФИЦИЕНТОВИз оценок
- 53. ТОЧНОСТЬ РЕГРЕССИОННЫХ КОЭФФИЦИЕНТОВ15Разброс остатков для регрессионной прямой
- 54. ТОЧНОСТЬ РЕГРЕССИОННЫХ КОЭФФИЦИЕНТОВМожно получить оценки стандартных отклонений
- 55. ЭффективностьТОЧНОСТЬ РЕГРЕССИОННЫХ КОЭФФИЦИЕНТОВТеорема Гаусса-Маркова утверждает, что при
- 56. Y = b1 + b2X + uЭффективностьТОЧНОСТЬ РЕГРЕССИОННЫХ КОЭФФИЦИЕНТОВРассмотрим альтернативную модель. 23
- 57. Y = b1 + b2X + uЭффективностьТОЧНОСТЬ
- 58. ТОЧНОСТЬ РЕГРЕССИОННЫХ КОЭФФИЦИЕНТОВ32Несмещенность оценки.
- 59. Регрессионная модель: Y = b1 + b2X
- 60. Регрессионная модель: Y = b1 + b2X
- 61. Регрессионная модель: Y = b1 + b2X
- 62. Регрессионная модель : Y = b1 +
- 63. Регрессионная модель: Y = b1 + b2X
- 64. Регрессионная модель: Y = b1 + b2X
- 65. Теорема Гауса-МарковаЕсли случайные возмущения Ui удовлетворяют перечисленным
- 66. НЕСМЕЩЕННОСТЬ ОЦЕНОК b1 И b2Е(Cov(X, u)) =0 31
- 67. НЕСМЕЩЕННОСТЬ b1 и b2Поскольку X не случайна, то его значение можно вынести за знак ожидания.
- 68. НЕСМЕЩЕННОСТЬ b1 и b2E(b1) = b1. Значит b1 – это несмещенная оценка b1.
- 69. Простая регрессионная модель: Y = b1 +
- 70. Стандартное отклонение регрессионных коэффициентовТОЧНОСТЬ РЕГРЕССИОННЫХ КОЭФФИЦИЕНТОВИз оценок
- 71. Зависимость от дисперсииТОЧНОСТЬ РЕГРЕССИОННЫХ КОЭФФИЦИЕНТОВ20 наблюдений. Неслучайная
- 72. Зависимость от выборочного отклонения А) Б)
- 73. ТОЧНОСТЬ РЕГРЕССИОННЫХ КОЭФФИЦИЕНТОВ15Разброс остатков для регрессионной прямой
- 74. ТОЧНОСТЬ РЕГРЕССИОННЫХ КОЭФФИЦИЕНТОВМожно получить оценки стандартных отклонений
- 75. ЭффективностьТОЧНОСТЬ РЕГРЕССИОННЫХ КОЭФФИЦИЕНТОВТеорема Гаусса-Маркова утверждает, что при
- 76. Y = b1 + b2X + uЭффективностьТОЧНОСТЬ РЕГРЕССИОННЫХ КОЭФФИЦИЕНТОВРассмотрим альтернативную модель. 23
- 77. Y = b1 + b2X + uЭффективностьТОЧНОСТЬ
- 78. ТОЧНОСТЬ РЕГРЕССИОННЫХ КОЭФФИЦИЕНТОВ32Несмещенность оценки.
- 79. Регрессионная модель: Y = b1 + b2X
- 80. Скачать презентанцию
Предположим, что переменная Y есть линейная функция X, с неизвестными параметрами b1 and b2, оценка которых есть основная задача регрессионного анализа, и также имеется выборка из 4-х наблюдений X , значения
Слайды и текст этой презентации
Слайд 2Предположим, что переменная Y есть линейная функция X, с неизвестными
Слайд 3Теоретические значения будут лежать на прямой с параметрами b1 и
b2.
Q1
Q2
Q3
Q4
ПРОСТАЯ РЕГРЕССИОННАЯ МОДЕЛЬ
3
b1
Y
Слайд 4P4
На практике большинство экономических зависимостей (Рi) не являются точными и
действительное значение Y будет отличаться от теоретического.
P3
P2
P1
Q1
Q2
Q3
Q4
ПРОСТАЯ РЕГРЕССИОННАЯ МОДЕЛЬ
4
b1
Y
Слайд 5Причины расхождения
Не включение в модель объясняющей переменной (срок обучения –
не единственная причина заработка)
Агрегирование переменных (суммарное потребление)
Неправильная структура модели (например
статическая модель, вместо лаговой)Не верный выбор функции
Ошибки измерения
Слайд 6P4
Каждое значение Y включает неслучайную объясняющую компоненту b1 + b2X,
и компоненту случайного возмущения u.
P3
P2
P1
Q1
Q2
Q3
Q4
u1
ПРОСТАЯ РЕГРЕССИОННАЯ МОДЕЛЬ
6
b1
Y
Слайд 7P4
На практике можно видеть только Pi точки. Их можно использовать
для аппроксимации линии Y = b1 + b2X.
Эта аппроксимация
обозначается как ŷ = b1 + b2X, где b1 - это оценка b1 , а b2 – это оценка b2.P3
P2
P1
ПРОСТАЯ РЕГРЕССИОННАЯ МОДЕЛЬ
7
Y
Слайд 8P4
Оцененная регрессионная прямая , предсказывающая значения Y (оценки
Y).
Разница между действительным и оцененным значением Y - это остаток
e P3
P2
P1
R1
R2
R3
R4
ПРОСТАЯ РЕГРЕССИОННАЯ МОДЕЛЬ
9
b1
(оцененное значение)
Y ( действительное значение )
Y
(остаток)
e1
e2
e3
e4
Слайд 9P4
Остаток не совпадает со случайной переменной.
Случайное возмущение – это
разница между неслучайным теоретическим значением и действительным значением.
P3
P2
P1
R1
R2
R3
R4
b1
ПРОСТАЯ РЕГРЕССИОННАЯ
МОДЕЛЬ 11
b1
Y
Y
Q1
Q2
Q3
Q4
Слайд 10P4
Остаток – это разница между действительным и оцененным значением.
P3
P2
P1
R1
R2
R3
R4
ПРОСТАЯ РЕГРЕССИОННАЯ
МОДЕЛЬ
13
b1
b1
Y
Y
Слайд 11P4
Используя теоретическую модель, Y можно представить в виде неслучайной компоненты
b1 + b2X и случайной компоненты u.
ПРОСТАЯ РЕГРЕССИОННАЯ МОДЕЛЬ
16
Q4
u4
b1
b1
Y
Y
Слайд 12P4
На практике значения b1 и b2 неизвестны и , следовательно
неизвестны значения случайного возмущения.
ПРОСТАЯ РЕГРЕССИОННАЯ МОДЕЛЬ
17
Q4
u4
b1
b1
Y
Y
Слайд 13P4
Для оцененной прямой в каждом наблюдении можно определить оценку и
остаток, которые используются для прогноза.
ПРОСТАЯ РЕГРЕССИОННАЯ МОДЕЛЬ
18
e4
R4
b1
b1
Y
Y
Слайд 14ПРОСТАЯ РЕГРЕССИОННАЯ МОДЕЛЬ
Метод наименьших квадратов:
Минимизация RSS (Residual Sum of
Squares), где
В данном методе оценки выбираются в соответствии с критерием
минимизации суммы квадратов остатков RSS. 19
Почему берутся квадраты, а не простые суммы?
Слайд 15P4
При минимизации простых сумм остатки в среднем гасят друг друга.
Существуют и другие критерии оценки.
P3
P2
P1
ПРОСТАЯ РЕГРЕССИОННАЯ МОДЕЛЬ
21
Y
Слайд 17ВЫЧИСЛЕНИЕ РЕГРЕССИОННЫХ КОЭФФИЦИЕНТОВ
Y
b2
b1
X
Вычисление коэффициентов по методу наименьших квадратов (OLS
- ordinary least squares)
Оцененное значение Y = b1 + b2X,
будет определять b1 и b2 с точки зрения критерия минимизации RSS.3
^
Слайд 29ВЫЧИСЛЕНИЕ РЕГРЕССИОННЫХ КОЭФФИЦИЕНТОВ
X
Xn
X1
Y
b1
b2
При выбранных параметрах b1 и b2 сумма
квадратов остатков минимальна.
32
Слайд 32
1
ИНТЕРПРЕТАЦИЯ РЕГРЕССИОННЫХ КОЭФФИЦИЕНТОВ
Данные National Longitudinal Survey of Youth 1994г., 570
респондентов. 1-12 – школа, 13-16 - ВУЗ, выше – аспирантура
или 2-е высшее образование
Слайд 33ИНТЕРПРЕТАЦИЯ РЕГРЕССИОННЫХ КОЭФФИЦИЕНТОВ
^
Регрессионная прямая по данным выборки. Что означают
коэффициенты прямой?
b2=1,073 $/год, b1=-1.391 $ - начальная плата за право
работать без образования.Являются ли эти оценки достоверными?
9
Слайд 3520
Другое решение задачи с помощью нелинейной аппроксимации дает более правдоподобное
решение.
ИНТЕРПРЕТАЦИЯ РЕГРЕССИОННЫХ КОЭФФИЦИЕНТОВ
Слайд 3620
Интерпретация параметра при регрессоре
Параметр а1 показывает, на сколько
единиц изменится значение Y при изменении Х на одну единицу.
При этом обязательно надо указывать точный характер изменения (увеличение, уменьшение) конкретного числового значения и единиц измерения.Пример:
HOUS = - 27,5 + 0,478 DPI
Значение параметра 0,178 показывает, что при росте совокупного личного располагаемого дохода (DPI) на 1 тыс. руб. расходы на ЖКХ (HOUS) возрастают на 478 руб.
Слайд 3720
Интерпретация свободного члена регрессии
Параметр а0 показывает, на сколько
единиц график регрессии смещен вверх (вниз) по оси Y при
Х= 0. Экономическая интерпретация (если она допустима) – значение Y при нулевом значении X.Часто экономическая интерпретация отсутствует. Поэтому, прежде чем давать интерпретацию а0 и а1 следует убедиться в высоком качестве уравнения регрессии.
Пример:
HOUS = - 27,5 + 0,478 DPI
Значение параметра – 27.5 указывает на точку пересечения оси Y. Экономический смысл здесь отсутствует.
Слайд 39КАЧЕСТВО ОЦЕНКИ
TSS (Total Sum of Squares) – общая сумма квадратов,
объясняющаяся уравнением регрессии.
Первое слагаемое : ESS (Explained Sum of Squares).
Второе слагаемое: RSS (Residual Sum of Squares) - квадрат остатков.
Но некоторые подразумевают Regression Sum of Squares и Error Sum of Squares (ESS) или что-то такое.
32
Слайд 40КАЧЕСТВО ОЦЕНКИ. Коэффициент детерминации
Минимизация квадратов остатков максимизирует R2
36
Связь
корреляции и коэффициента детерминации R2.
Чем выше объяснение с помощью
уравнения, тем выше уровень корреляции и наоборот. 
Слайд 42
Регрессионная модель: Y = b1 + b2X + u
Предпосылки применимости
– условия Гаусса-Маркова
1. E(ui) = 0
Предположим E(ui) = mu< > 0.
Определим
v = u - mu, так что u = v + muТогда Y = b1 + b2X + v + mu
= (b1 +mu) + b2X + v
где E(v) = E(u - mu) = E(u) - E(mu) = 0
Нарушения условия 1 приводит к изменению постоянного члена регрессионного уравнения. Роль постоянного члена – учитывать систематические тенденции зависимости.
6
УСЛОВИЯ ГАУССА-МАРКОВА
Слайд 43
Регрессионная модель : Y = b1 + b2X + u
2. Выборочная
дисперсия ui одинакова для всех i
σu= const для всех
i(гомоскедастичность случайной величины)
Это значение неизвестно заранее и должно быть оценено по выборке
8
Не должно быть априорных причин для того, чтобы одни наблюдения порождали существенно большие значения, чем другие.
УСЛОВИЯ ГАУССА-МАРКОВА
Слайд 44
Регрессионная модель : Y = b1 + b2X + u
ui распределены независимо от uj
Выборочная ковариация ui и uj =
0, для всех i не равных j
E[(ui –μu) (uj –μu)] = E[(ui uj )] = E (ui) E( uj )=0
10
Третье условие требует независимости случайных возмущений друг от друга.
Условия Гаусса-Маркова
Слайд 45Регрессионная модель: Y = b1 + b2X + u
Независимость случайных
возмущений и объясняющих переменных. Сильная форма – X неслучайно
Пример стратифицированной
случайной переменной размерности 1,00 (репрезентативность выборки в той же пропорции, что и для всей популяции):S n
8 10
9 30
10 50
11 70
12 430
13 100 , etc
Объясняющая переменная S – неслучайна.
13
Условия Гаусса-Маркова
Слайд 46
Регрессионная модель : Y = b1 + b2X + u
Добавочное
предположение о нормальном распределении u, означающее, что нет доминирующих случайных
факторов для случайных возмущений.21
Условие необходимое для проверки гипотез.
Условия Гаусса-Маркова
Слайд 47Теорема Гаусса-Маркова
Если случайные возмущения Ui удовлетворяют перечисленным выше четырем условиям:
E(u1)=E(u2)=…=E(un)=0
Var(u1)=Var(u2)=…=Var(un)=σ2
Cov(ui,uj)=0
при i ≠ j
Cov(xi, uj)=0 при всех значениях i и
jи обладают нормальным законом распределения то,
тогда наилучшей линейной процедурой оценивания параметров модели является МНК, приводящей к несмещенной и эффективной их оценке.
Слайд 49НЕСМЕЩЕННОСТЬ b1 и b2
Поскольку X не случайна, то его значение
можно вынести за знак ожидания.
Слайд 51
Простая регрессионная модель: Y = b1 + b2X + u
Стандартное
отклонение регрессионных коэффициентов
ТОЧНОСТЬ РЕГРЕССИОННЫХ КОЭФФИЦИЕНТОВ
Плотность вероятности b2
b2
Оценки стандартных отклонений коэффициентов
определяет степень доверия этим оценкам.2
Стандартное отклонение b2
b2
Слайд 52
Стандартное отклонение регрессионных коэффициентов
ТОЧНОСТЬ РЕГРЕССИОННЫХ КОЭФФИЦИЕНТОВ
Из оценок можно сделать выводы,
что дисперсии обратно пропорциональны числу наблюдений и пропорциональны дисперсии случайного
члена. Кроме того дисперсия зависит от выборочного отклонения.3
Слайд 53ТОЧНОСТЬ РЕГРЕССИОННЫХ КОЭФФИЦИЕНТОВ
15
Разброс остатков для регрессионной прямой меньше, чем разброс
возмущений относительно теоретической прямой. Var(e) – смещенная оценка, занижающая истинное
значение дисперсии случайного возмущения σu 2.su2 несмещенная оценка σu 2
Слайд 54ТОЧНОСТЬ РЕГРЕССИОННЫХ КОЭФФИЦИЕНТОВ
Можно получить оценки стандартных отклонений b1 и b2
заменой su2 на su2. s.e. – стандартная ошибка. su2 и
s.e.(b) вычисляются в Excel и несут информацию о ширине плотности распределения, но это не говорит о том, где реально расположена оценка.18
Слайд 55
Эффективность
ТОЧНОСТЬ РЕГРЕССИОННЫХ КОЭФФИЦИЕНТОВ
Теорема Гаусса-Маркова утверждает, что при соблюдении 4-х условий
метод наименьших квадратов дает оценки, имеющие большую эффективность, т.е. меньший
разброс, чем у других несмещенных оценок.21
Плотность вероятности b2
МНК
Другие несмещенные оценки
b2
b2
Слайд 56
Y = b1 + b2X + u
Эффективность
ТОЧНОСТЬ РЕГРЕССИОННЫХ КОЭФФИЦИЕНТОВ
Рассмотрим альтернативную
модель.
23
Слайд 57
Y = b1 + b2X + u
Эффективность
ТОЧНОСТЬ РЕГРЕССИОННЫХ КОЭФФИЦИЕНТОВ
Построим регрессионную
прямую по первой и последней точке и покажем, что эта
оценка так же является несмещенной.24
Xn - X1
Yn - Y1
Слайд 59
Регрессионная модель: Y = b1 + b2X + u
Эффективность
ТОЧНОСТЬ РЕГРЕССИОННЫХ
КОЭФФИЦИЕНТОВ
Разброс оценки b2 больше, чем разброс b2OLS . МНК
дает наилучшие линейные несмещенные оценки.35
Слайд 60
Регрессионная модель: Y = b1 + b2X + u
Предпосылки применимости
– условия Гаусса-Маркова
1. E(ui) = 0
Предположим E(ui) = mu< > 0.
Определим
v = u - mu, так что u = v + muТогда Y = b1 + b2X + v + mu
= (b1 +mu) + b2X + v
где E(v) = E(u - mu) = E(u) - E(mu) = 0
Нарушения условия 1 приводит к изменению постоянного члена регрессионного уравнения. Роль постоянного члена – учитывать систематические тенденции зависимости.
6
УСЛОВИЯ ГАУССА-МАРКОВА
Слайд 61
Регрессионная модель: Y = b1 + b2X + u
2. Выборочная дисперсия
ui одинакова для всех i
σu= const для всех i
(гомоскедастичность
случайной величины)Это значение неизвестно заранее и должно быть оценено по выборке
8
Не должно быть априорных причин для того, чтобы одни наблюдения порождали существенно большие значения, чем другие.
УСЛОВИЯ ГАУССА-МАРКОВА
Слайд 62
Регрессионная модель : Y = b1 + b2X + u
ui распределены независимо от uj
Выборочная ковариация ui и uj =
0, для всех i не равных j
E[(ui –μu) (uj –μu)] = E[(ui uj )] = E (ui) E( uj )=0
10
Третье условие требует независимости случайных возмущений друг от друга.
Условия Гаусса-Маркова
Слайд 63Регрессионная модель: Y = b1 + b2X + u
Независимость случайных
возмущений и объясняющих переменных. Сильная форма – X неслучайно
Пример стратифицированной
случайной переменной размерности 1,000 (репрезентативность выборки в той же пропорции, что и для всей популяции):S n
8 10
9 30
10 50
11 70
12 430
13 100 , etc
Объясняющая переменная S – неслучайна.
13
Условия Гаусса-Маркова
Слайд 64
Регрессионная модель: Y = b1 + b2X + u
Добавочное предположение
о нормальном распределении u,
означающее, что нет доминирующих случайных факторов
для случайных возмущений.21
Условие необходимое для проверки гипотез.
Условия Гаусса-Маркова
Слайд 65Теорема Гауса-Маркова
Если случайные возмущения Ui удовлетворяют перечисленным выше четырем условиям:
E(u1)=E(u2)=…=E(un)=0
Var(u1)=Var(u2)=…=Var(un)=σ2
Cov(ui,uj)=0
при i ≠ j
Cov(xi, uj)=0 при всех значениях i и
jи обладают нормальным законом распределения то,
тогда наилучшей линейной процедурой оценивания параметров модели является МНК, приводящей к несмещенной и эффективной их оценке.
Слайд 67НЕСМЕЩЕННОСТЬ b1 и b2
Поскольку X не случайна, то его значение
можно вынести за знак ожидания.
Слайд 69
Простая регрессионная модель: Y = b1 + b2X + u
Стандартное
отклонение регрессионных коэффициентов
ТОЧНОСТЬ РЕГРЕССИОННЫХ КОЭФФИЦИЕНТОВ
Плотность вероятности b2
b2
Оценки стандартных отклонений коэффициентов
определяет степень доверия этим оценкам.2
Стандартное отклонение b2
b2
Слайд 70
Стандартное отклонение регрессионных коэффициентов
ТОЧНОСТЬ РЕГРЕССИОННЫХ КОЭФФИЦИЕНТОВ
Из оценок можно сделать выводы,
что дисперсии обратно пропорциональны числу наблюдений и пропорциональны дисперсии случайного
члена. Кроме того дисперсия зависит от выборочного отклонения.3
Слайд 71
Зависимость от дисперсии
ТОЧНОСТЬ РЕГРЕССИОННЫХ КОЭФФИЦИЕНТОВ
20 наблюдений. Неслучайная компонента Y =
3.0 + 0.8X, представлена точечной линией. Дисперсии отличаются в 5
раз.6
Y
Y
X
X
Y = 3.0 + 0.8X
Слайд 72
Зависимость от выборочного отклонения
А) Б)
ТОЧНОСТЬ РЕГРЕССИОННЫХ КОЭФФИЦИЕНТОВ
На правой диаграмме точки Х находятся ближе друг к другу [ Var(Xa )>Var(Xб) ], что обуславливает большую возможную ошибку в значениях оценок.
10
Y
Y
X
X
Y = 3.0 + 0.8X
Слайд 73ТОЧНОСТЬ РЕГРЕССИОННЫХ КОЭФФИЦИЕНТОВ
15
Разброс остатков для регрессионной прямой меньше, чем разброс
возмущений относительно теоретической прямой. Var(e) – смещенная оценка, занижающая истинное
значение дисперсии случайного возмущения σu 2.su2 несмещенная оценка σu 2
Слайд 74ТОЧНОСТЬ РЕГРЕССИОННЫХ КОЭФФИЦИЕНТОВ
Можно получить оценки стандартных отклонений b1 и b2
заменой su2 на su2. s.e. – стандартная ошибка. su2 и
se(b) вычисляются в Excel и несут информацию о ширине плотности распределения, но это не говорит о том, где реально расположена оценка.18
Слайд 75
Эффективность
ТОЧНОСТЬ РЕГРЕССИОННЫХ КОЭФФИЦИЕНТОВ
Теорема Гаусса-Маркова утверждает, что при соблюдении 4-х условий
метод наименьших квадратов дает оценки, имеющие большую эффективность, т.е. меньший
разброс, чем у других несмещенных оценок.21
Плотность вероятности b2
МНК
Другие несмещенные оценки
b2
b2
Слайд 76
Y = b1 + b2X + u
Эффективность
ТОЧНОСТЬ РЕГРЕССИОННЫХ КОЭФФИЦИЕНТОВ
Рассмотрим альтернативную
модель.
23
Слайд 77
Y = b1 + b2X + u
Эффективность
ТОЧНОСТЬ РЕГРЕССИОННЫХ КОЭФФИЦИЕНТОВ
Построим регрессионную
прямую по первой и последней точке и покажем, что эта
оценка так же является несмещенной.24
Xn - X1
Yn - Y1
Слайд 79
Регрессионная модель: Y = b1 + b2X + u
Эффективность
ТОЧНОСТЬ РЕГРЕССИОННЫХ
КОЭФФИЦИЕНТОВ
Разброс оценки b2 больше, чем разброс b2OLS . МНК
дает наилучшие линейные несмещенные оценки.35
