Применение метода наименьших квадратов для определения параметров линейной

переменных
Лекция №11

вещественных переменных x. Пусть p - число переменных x.Надо

оценить параметры линейной зависимости по наблюдениям x и y.
Каждое наблюдение содержит (p+1) значение: p значений x и одно значение y:
(xi,1 , xi,2 , …, xi,p , yi), i – номер наблюдения.
Всего имеется n наблюдений: i=1, 2, …, n.
Каждое наблюдение можно представить как точку (p+1)-мерного пространства.

…, bp – коэффициенты линейной зависимости,
b0– сдвиг

линейной зависимости,
ε – случайная величина, включающая в себя все, что влияет на y, кроме x1, x2, …, xp.
Часто ε называют возмущением.
Иногда предполагается, что ε – это погрешность измерения y.
x1, x2, …, xp принято назвать входными или независимыми переменными, или факторами.
y принято назвать выходной или зависимой переменной, или откликом.

Рассмотрение уравнения (1), конечно, связано с предположением, что переменные x оказывают на y большее влияние, чем ε, то есть чем все остальные воздействия.

откликом и его оценкой обозначается ei и называется остатком:
Qe –

сумма квадратов остатков или остаточная сумма:

(3)

(2)

суммы:
МНК также называется методом подгонки (из-за простоты идеи)

матричном виде.
Введем обозначения:
Тогда:

состоит из n строк и (p+1) столбцов. Первый столбец состоит

из единиц. Это как бы наблюдения несуществующего, «фиктивного» фактора, введенного для того, чтобы не заниматься отдельно оценкой b0.

результате не очень сложных алгебраических преобразований можно получить:
Если квадратная

матрица XX является неособенной, то получаем формулу для оценок параметров зависимости y(x):

Эта формула является обобщением формулы (4) из лекции 9

пространства, задаваемого соотношением:


Остаточная сумма Qe характеризует разброс (рассеяние, изменение) наблюдений

y за счет возмущений (воздействий, отличных от х).
Чем меньше остаточная сумма, тем значимей зависимость y(x1,x2, …,xp).
НО если ВСЕ коэффициенты b1, b2, …, bp равны (или близки к) 0, то y не зависит (мало зависит) от факторов даже если возмущений нет.
Нужен другой (дополнительный) критерий качества.

Оценка качества (значимости) зависимости y(x1,x2, …,xp)

…,xp).
Чем больше регрессионная сумма QR, тем выше значимость зависимости y(x1,x2,

…,xp).
Чем больше отношение QR/Qe, тем выше значимость зависимости y(x1,x2, …,xp). Отношение QR/Qe –хороший критерий значимости:
Отношение безразмерно, не зависит от единиц измерений y.
Отношение учитывает и влияние на y фактора x, и влияние на y возмущений.

Оценка качества (значимости) зависимости y(x1,x2, …,xp)

Это строгий критерий, доказанный в математической статистике.
Критическое (пороговое) значение f(;

p;n-p-1) – это квантиль распределения Фишера, который выбирается из специальных таблиц или определяется с помощью встроенных функций вычислительной среды.
Здесь >0 - это вероятность ошибки: принять зависимость y(x) значимой при условии, что это неверно.
При р=1 получаем формулы из лекции 9.
.

Критерий Фишера проверки значимости зависимости y(x1,x2, …,xp)

Статистика Фишера:

Чем больше F, тем значимей зависимость y(x)

изменение) отклика относительно его среднего значения.
При не очень ограничительных условиях

выполняется равенство:
Q=QR+Qe.
Таким образом, полное изменение y складывается из его изменения за счет изменения х и изменения за счет возмущений.

Обратите внимание, что Q не зависит от b0, b1, …, bp, а зависит только от наблюдений отклика. Таким образом, минимизируя Qe, мы одновременно максимизируем QR, поскольку их сумма остается постоянной.

y более, чем на 50%, обусловлено изменением х.

Оценка качества

(значимости) зависимости y(x)

изменения y объясняется изменением x.
При QR>Qe R2>0,5.
Таким образом, условие
R2>0,5
может быть

использовано как критерий значимости зависимости y(x1,x2, …,xp).

аппроксимирует наблюдения.
Если R2=1, то наблюдения лежат на

линии регрессии.
Если R2=0, то изменение зависимой переменной полностью обусловлены неучтенными в модели факторами, и линия регрессии параллельна оси ОХ.

Оценка качества (значимости) зависимости y(x1,x2, …,xp)

в целом, то есть оценивания общего влияния на y всех

факторов.

Существует также задача проверки значимости каждого фактора. Это нужно, например, для того, чтобы определить, какие факторы можно исключить из модели, тем самым упростив модель.

Коэффициент bj незначим, если bj =0
В этом случае xj

не влияет на y.
j=1, …, p.

bj:
bj =0.
Вычисляется статистика Стьюдента Т:

где

- стандартное отклонение bj.
Гипотеза H0 отклоняется (коэффициент bj и фактор xj считаются значимыми) при выполнении неравенства:
|T|>t(α, n-p-1),
где t(α, n-p-1) - критическое (пороговое) значение статистики Стьюдента, это квантиль распределения Стьюдента, который выбирается из специальных таблиц или определяется с помощью встроенных функций вычислительной среды. Здесь >0 - это вероятность ошибки: принять зависимость y(x) значимой при условии, что это неверно.

один), то можно доказать, что

F=T2
f(α,1, n-2)=t2(α, n-2).
Таким образом, критерий Фишера и критерий Стьюдента дают одинаковые результаты.
Если фактор х один, то его значимость эквивалентна значимости линейной зависимости y(x).