Теория вероятностей и математическая статистика

распределения

9. Оценка моментов и параметров распределения
Оценка моментов и параметров распределения

21, 22, 25, 54-75
[1]. В. А. Фигурин, В. В. Оболонкин, Теория

вероятностей и математическая статистика; ООО "Новое знание": Минск, 2000.

[2]. В. С. Зарубин, А. П. Крищенко, Математическая статистика; Издательство МГТУ им. Н.Э. Баумана: М., 2001.
 

распределения
Задачи математической статистики (МС)– «обратные» к задачам теории вероятностей (ТВ)
ТВ:

вероятностная модель событий задана, необходимо рассчитать вероятности событий.

МС: вероятностная модель не задана, в результате эксперимента известны реализации каких-либо случайных событий, необходимо подобрать вероятностную модель.

,

Виды оценок и их характеристики

Тема 9. Оценка моментов и параметров распределения

Два источника информации:
выборка генеральной совокупности;
априорная информация (отражается в исходной статистической модели)

где µ и σ – неизвестные параметры.

распределения
Часто встречающиеся в приложениях задачи МС:
Оценка неизвестных параметров

Проверка статистических гипотез

Установление формы и степени связи между случайными величинами

X имеет нормальный закон распределения:
где µ и σ –

неизвестные параметры.

ρ

- Семейство (класс) распределений случайной величины

Выборочное пространство, на котором задан класс распределений ρ назовем статистической моделью*.

_________
* Определение в «узком смысле». Действительно только в рамках курса.

Статистическая модель полностью определена функцией распределения F(x) генеральной совокупности. В дальнейшем статистическую модель будем обозначать {F(x)}.

распределения (плотность распределения) задана с точностью до неизвестного вектора параметров

с множеством возможных значений Ө, т.е.

то статистическую модель называют параметрической моделью.
Параметрическую модель обозначают {F(x; ); € Ө}.

Множество Ө называют параметрическим множеством.

€ Ө

,

распределения
Постановка задачи
Задача оценки параметров возникает, если функция распределения генеральной совокупности

известна с точностью до

параметра .

распределения






В этом случае

полагают, что закон распределения генеральной совокупности имеет вид



Вид функции распределения задан.

Вектор параметров неизвестен.

Требуется найти оценку для

или некоторой функции от него (математического ожидания, дисперсии) по случайной выборке


из генеральной совокупности X.

такую статистику

,

выборочное значение которой для

рассматриваемой реализации случайной выборки

можно было бы считать приближенным значением

параметра .

,
выборочное значение которой

для любой реализации

принимают за

приближенное значение параметра , называют

точечной оценкой, а выборочное значение -

значением точечной оценки.

Точечная оценка

Тема 9. Оценка моментов и параметров распределения

Интервальная оценка параметров
Рассматриваем случайную выборку

объема n с функцией распределения

.
- неизвестный параметр.

Для построен интервал
.
Причем, и - функции (статистики) случайной выборки ,

такие что выполняется равенство

θ

θ

доверительный интервал,

коэффициент доверия,

вида оценок в математической статистике:
точечные
интервальные
Задача оценки возникает, если функция

распределения генеральной совокупности известна с точностью до некоторого параметра

Рассмотрим нахождение точечной статистики.
Рассмотрим случайную

выборку генеральной совокупности .
Закон распределения известен F(x;θ). Параметр θ неизвестен. Для простоты предположим, что θ скаляр.
Т.е. рассматриваем параметрическую модель
Необходимо построить статистику , которую можно принять в качестве точечной оценки параметра θ .

Какими свойствами должна обладать статистика ,чтобы она являлась в некотором смысле «наилучшей оценкой» параметра θ .

Для оценки параметров можно предложить различне статистики. Например, для оценки μ=M(X) можно предложить слудующие статистики:

Статистика

является состоятельной, если при увеличении объема

n выборки она сходится по вероятности к параметру θ.


.

Возможна другая запись:

,

где ε>0.


Можно показать:

.

Статистика

является несмещенной, если ее математическое ожидание совпадает с θ для любого n.

.

Если это уловие не выполняется, то оценка называется смещенной с параметром смещения:

.

Оценка является ассимптотически несмещенной, если при n→∞ она сходится по вероятности к своему математическому ожиданию для любого ε>0 .

.

=1

,
Если в

некотором классе несмещенных оценок параметра имеется такая ,

Свойства оценок: Эффективная оценка

Тема 9. Оценка моментов и параметров распределения

.

Пусть имеются две несмещенные оценки и

(*)

Следуют предпочесть

.

является эффективной в данном классе оценок.

То есть дисперсия эффективной оценки параметра в некотором классе является минимальной среди дисперсий всех оценок.

Эффективную оценку назвают так же несмещенная оценка с минимальной дисперсией или оптимальная оценка.

.
Неравенство Рао-Крамера.

Пусть

- несмещенная оценка параметра θ.
Тогда имеет место неравенство



I(θ)- количествоа информации по Фишеру в одном наблюдении, p(t; θ) - плотность распредления генеральной совокупности.
 
Неравенство Рао-Крамера определяет нижнюю границу дисперсий несмещенных оценок параметра θ.
 
Величину

называют показателем эффективности по Рао-Крамеру.
Из неравенства Рао-Крамера следует, что 0

.

.
.

Несмещенную оценку

параметра θ называют эффективной по Рао- Крамеру, если показатель эффективности e(θ)=1.

Критерий эффективности

Равенство

имеет место тогда и только тогда, когда

Достаточные статистики
 Оценка является достаточной статистикой, если вся полученная из выборки информация относительно параметра содержится в оценке. Если известна достаточная статистика, то никакая другая статистика, вычисленная по той же выборке, не может дать дополнительную информацию о параметре.

параметров распределения
Оценка математического ожидания


генеральной совокупности X с конечной дисперсией является

несмещенной, состоятельной и эффективной в классе всех линейных оценок, т.е. оценок вида

Элементы Xi, i=1,n случайной выборки

являются независимыми случайными величинами и распредлены так же, как и генеральная совокупность X. Cледовательно,
MXi=MX=μ , DXi=DX=σ2, i=1,n.

Несмещенность оценки.
Учитывая свойства математического ожидания, получаем

Ч.т.д.

параметров распределения
Ч.т.д.
Состоятельность оценки.
Поскольку последовательность X1,...,Xn состоит из незвисимых одинаково распределенных

величин с конечной дисперсией, то в сило закона больших чисел в форме Чебышева для любого ε

То есть оценка сходится по вероятности к оцениваемому параметру, т.е. оценка состоятельна.

параметров распределения
Ч.т.д.
Эффективность оценки.
Докажем что
Достигаем своего минимального значения при αi=1/n,

т.е.

Отыщем условный минимум функции ,

- эффективная оценка.

Составим функцию Лагранжа c множителем Лагранжа λ

Необходимые условия существования условного экстремума

Решив систему, получаем
λ = -2/n, αi=1/n, i=1,n. То есть при этих значениях аргуметна функция g (α1, ... αn) имеет условный минимум.

распределения
Выборочная дисперсия
, где
-

случайная выборка из генеральной совокупности X с конечной дисперсией σ2 – смещенная состоятельная оценка дисперсии.
Смещенность оценки.

С учетом свойств математического ожидания

Ч.т.д.

порядка включительно и нулевое математическое ожидание.
 
В соответствии со втрорым неравенством

Чебышева

 

Точечные оценки моментов. Оценка дисперсии

Тема 9. Оценка моментов и параметров распределения

Поскольку

то

,

оценок математического ожидания и дисперсии берут выборочное среднее и выборочную

дисперсию.
Вообще можно доказать, что выборочные начальные и центральные моменты являются состоятельными оценками соответствующих моментов генеральной совокупности, если только они существуют. Оценки являются смещенными за исключением .

Точечные оценки моментов. Оценка дисперсии

Тема 9. Оценка моментов и параметров распределения

Следовательно,

Аналогично можно показать:

В итоге:

Так как , то

Отсюда с учетом второго неравенства Чебышева следует состоятельность оченки

.

распределения


Замечание.


Статистика




является несмещенной и состоятельной

оценкой дисперсии генеральной совокупности.