Теория вероятностей и математическая статистика

распределения

параметров
Тема 9. Оценка моментов и параметров распределения
Оценка моментов и параметров

распределения

26, 85-121
[1]. В. А. Фигурин, В. В. Оболонкин, Теория вероятностей и

математическая статистика; ООО "Новое знание": Минск, 2000.

[2]. Горяинов, В.Б., и др. Математическая статистика, п/р. В.С. Зарубин and А.П. Крищенко. 2001, М.: Издательство МГТУ им. Н.Э. Баумана. 424.
 

вида оценок в математической статистике:
точечные
интервальные
Задача оценки возникает, если функция

распределения генеральной совокупности известна с точностью до некоторого параметра

распределения
Постановка задачи
Задача оценки параметров возникает, если функция распределения генеральной совокупности

известна с точностью до параметра . Необходимо найти такую статистику , выборочное значение которой для рассматриваемой реализации случайной выборки можно было бы считать приближенным значением параметра .

Статистику , выборочное значение которой для любой реализации принимают за приближенное значение параметра , называют точечной оценкой, а выборочное значение - значением точечной оценки.

распределения






В этом случае

полагают, что закон распределения генеральной совокупности имеет вид



Вид функции распределения задан.

Вектор параметров неизвестен.

Требуется найти оценку для

или некоторой функции от него (математического ожидания, дисперсии) по случайной выборке


из генеральной совокупности X.

Метод моментов

Метод максимального

правдоподобия

Графический метод

Метод наименьших квадратов

Пусть имеется случайная выборка

генеральной совокупности X.
Ее распределение известно с точностью до вектора параметров

Необходимо найти оценку параметра по случайной выборке .

Полагаем, у случайной величины X имеются первые r моментов: mk=MXk, k=1,r. mk= mk( ).
 
Рассмотрим выборочные моменты . Выборочные моменты являются состоятельными оценками моментов генеральной совокупности, и при большом объеме выборки генеральные моменты могут быть заменены выборочными.

В методе моментов в качестве точечной оценки вектора параметров берут статистику, значение которой для любой реализации случайной выборки получают как решение системы уравнений
 
Выборочные моменты приравниваются к теоретическим, зависящим от параметра.

.

.

.

.

.

.

Пример.
Предположим, случайная

величина имеет распределение

По значениям случайной выборки xi. дать оценку параметра распределения.
Начальный теоретический момент первого порядка :



Выборочный начальный момент первого порядка – выборочное среднее

Отсюда находят значения параметра.

.

.

Пример.
Методом моментов

найдем оценку параметра θ=p в биномиальной модели.
p – вероятность «успеха» в любом из n независимых повторных наблюдений

- случайная величина – число «успехов».
Случайная выборка - n дискретных случайных величин Xi, каждая из которых принимает значение 1 с вероятностью p и 0 с вероятностью q.

Математическое ожидание

Если в результате n независимых наблюдений мы получили выборочное значение

о уравнение, которое мы должны составить
np=k
Получаем

Т.е. точечной оценкой параметра p является относительная частота.

выборки аргумента достигает максимума.
, значение которой

для любой выборки

Метод максимального правдоподобия

Тема 9. Оценка моментов и параметров распределения

Пусть имеется случайная выборка генеральной совокупности X.
Ее распределение известно с точностью до вектора параметров

Необходимо найти оценку параметра по случайной выборке .

 

Введем так называемую функцию правдоподобия

Определение.
Оценкой максимального правдоподобия параметра θ называют статистику

удовлетворяет условию

Если функция правдоподобия дифференцируема,

то значения точечной оценки максимального правдоподобия для скалярного параметра удовлетворяют уравнению (необходимое условие экстремума).

Или, так как при логарифмировании точки экстремума остаются те же, а уравнение, как правило , упрощается

Если распределение случайной величины зависит от вектора случайных параметров, то последнее уравнение распадается на систему уравнений

Эти уравнения называются уравнениями правдоподобия.

Оценки, полученные методом максимального правдоподобия, могут быть смещенными и не эффективными. Смещенность можно устранить. Во многих случаях не эффективные оценки являются ассимптотически эффективными.

Основные свойства оценок метода

максимального правдоподобия.

Если существует эффективная оценка для скалярного параметра, то уравнение правдоподобия имеет единственное решение, которое является выборочным значением этой оценки.
Если существует достаточная статистика параметра, то решения уравнения правдоподобия являются функциями от выборочного значения этой статистики.
Уравнение правдоподобия имеет решение, которое является выборочным значением состоятельной оценки параметра.

Пример.
Для общей нормальной модели

найдем оценку вектора параметров
методом максимального правдоподобия.
 
Функция правдоподобия

Решая систему, получаем:

Следовательно, оценками максимального правдоподобия для математического ожидания θ1=MX и дисперсии θ22=DX случайной величины, распределенной по нормальному закону являются выборочное среднее и выборочная дисперсия.

Пример.
Пусть наблюдаемая в эксперименте

величина X – время работы прибора до отказа- имеет экспоненциальное распредлеение с плотностью
 
λ – неизвестный параметр.
Применяя метод максимального правдоподобия, необходимо найти точечную оценку для параметра λ.

Пусть - любая реализация случайной выборки из генеральной совокупности X.
 В рассматриваемом случае функция правдоподобия

Уравнения правдоподобия:

Точечной оценкой неизвестного параметра λ является

Полученный ответ представляется вполне естественным, учитывая, что MX=1/ λ, а наилучшей оценкой MX=µ является выборочное среднее,

Интервальная оценка параметров
Рассматриваем случайную выборку

объема n с функцией распределения

.
- неизвестный параметр.

Для построен интервал
.
Причем, и - функции (статистики) случайной выборки ,

такие что выполняется равенство

θ

θ

доверительный интервал,
γ-доверительный интервал,
интервальная оценка с коэффициентом доверия γ,
γ-доверительная оценка для θ.

-коэффициент доверия,
-доверительная вероятность

является длиной интервала

.

Тема 9. Оценка моментов и параметров распределения

Интервальная оценка параметров

и - верхняя и нижняя границы интервальной оценки.

θ

,

- Вероятностная характеристика точности оценивания параметра .

Параметры могут оценивать только сверху или только снизу. Соответвующие статистики называют односторонними нижними или верхними γ-доверительными границами.