Метод максимального правдоподобия

и эффективные оценки параметров распределения, которые имеют нормальный закон распределения.
В

основе ММП лежит понятие функции правдоподобия выборки.
Определение. Пусть имеем случайную величину Y, которая имеет функцию плотности вероятностей Py(t, a1,a2,…,ak) и случайную выборку наблюдений за поведением этой величины Y(y1,y2,…,yn). Тогда функцией правдоподобия выборки Y(y1,y2,…,yn) называется функция L, зависящая от аргументов а={a1,a2,…,ak}, а от элементов выборки как от параметров и определяется равенством:
L(a1,a2,…,ak, y1,y2,…,yn)=Py(y1, a) Py(y2, a)…Py(yn, a)

функции правдоподобия.
1. Правая часть равенства имеет смысл значения закона распределения

выборки при случайных значениях аргументов t1=y1, t2=y2,…, tn=yn.
Следовательно, функция правдоподобия L также случайная величина при любых значениях аргументов а={a1,a2,…,ak}.

2. Все значения функции правдоподобия L ≥0.

Эти свойства являются следствием свойств выборки.

которое обеспечивает максимум функции правдоподобия при всех возможных значениях случайной

величины Y. Математически это выражается так:
ãj= argmax(L(a1,a2,…,ak, y1,y2,…,yn)
Очевидно, что оценка ãj зависит от случайной выборки, следовательно, ãj= f(y1,y2,…,yn), где f есть процедура вычисления оценки ãj по результатам выборки.

распределения известен;
2. Функция плотности вероятности гладкая во всей области определения.
Последовательность

решения:
1. Составляется функция правдоподобия.
2. Вычисляется логарифм функции правдоподобия.
3. Оценки параметров получаются в результате решения системы уравнений вида:
∂ln(L)/∂ai = 0; i=1,2,3,…,k
4. Проверяется условие максимума функции правдоподобия.

распределения этой величины: Py(t,p)=pt(1-p)(1-t) , где t=0, 1. p-параметр закона

распределения. M(Y)=p, σ2(Y)=p(1-p).
Имеем выборку наблюдений Y={y1,y2,…,yn,p}.
Решение.
Составляем функцию правдоподобия:
L(y1,y2,…,yn,p)=py1(1-p)(1-y1) py2(1-p)(1-y2)… pyk(1-p)(1-yk)
=pΣyi(1-p)Σ(1-yi)
2. Вычисляем логарифм функции правдоподобия:
ln(L)=Σyiln(p) + Σ(1-yi)ln(1-p)

параметра «р».

Откуда
4. Проверяем условие максимума функции L.

оценки равно его теоретическому значению.

Вывод: получена несмещенная оценка на

выборке ограниченного объема!

границу точности, с которой можно несмещенно оценить неизвестные параметры.
Нижняя граница

соответствует минимальной дисперсии оценки. Следовательно, если дисперсия полученной оценки равна нижней границе, то эта оценка удовлетворяет условию эффективности.
Теорема. Для любой ковариационной матрицы любой несмещенной оценки вектора параметров «а» неравенство Рао-Крамера имеет вид:
Cov(ã,ã) ≥ I-1
где: I – квадратная матрица, информационная матрица Фишера:

Если число оцениваемых параметров равно 1, то матрица Фишера вырождается в число, которое называют информационным количеством Фишера.

(6.2) равна минимальному значению дисперсии среди всех возможных несмещенных процедур

оценки параметра «р». Т.е., если дисперсия полученной оценки равна значению (6.2), то эта оценка эффективная.

(6.2)

(6.2), следовательно мы получили несмещенную и эффективную оценку параметра «р»

на выборке ограниченного объема.

нормальный закон распределения.
Имеем выборку Y={y1,y2,…,yn}. Переменная Y имеет нормальный закон

распределения:

Тогда функция правдоподобия выборки примет вид:

Здесь символ «П» обозначает оператор произведения выражения по всем i

правдоподобия:

3. Составляем систему уравнений относительно параметров «а» и «s»
Откуда получаем:

является несмещенной на ограниченной выборке;
2. Оценка параметра σ2

состоятельная, т.е. несмещенная при n=>∞.

полученных результатов с элементами обратной матрицы Фишера, показывает, что дисперсия

оценки параметра «а» совпадает с минимально возможной дисперсией, а дисперсия оценки параметра «σ2» является состоятельной.