Теория вероятностей и математическая статистика

модели измерений

методом максимального правдоподобия.
Совместная оценка амплитуд нескольких сигналов.
Задачи, связанные с оценкой

Тема 10. Оценка параметров общей линейной модели измерений

Оценка параметров общей линейной модели измерений

квадратов)
[3] С. 351 - 370 (метод наименьших квадратов)
[4] С.282

[1]. В. А. Фигурин, В. В. Оболонкин, Теория вероятностей и математическая статистика; ООО "Новое знание": Минск, 2000.
[2] Худсон, Д., Статистика для физиков. 1970, М.: Мир. 297.
[3] Вентцель, Е.С., Теория вероятностей. 2001, М.: Высшая школа. 575.
[4] Горяинов, В.Б., et al., Математическая статистика, ed. В.С. Зарубин and А.П. Крищенко. 2001, М.: Издательство МГТУ им. Н.Э. Баумана. 424.

Тема 10. Оценка параметров общей линейной модели измерений

модели



,
Тема 10. Оценка параметров общей линейной модели

Общая линейная модель задается этими четырмя уравнениями

M[Xi]= a1f1i+ a2f2i+...+ akfki .
xi= a1f1i+ a2f2i+...+ akfki +ε i
M[ε i]=0
D[ε i]=σ2

Необходимо по измеренным величинам xi найти ak и σ2.

В самом простом случае задача имеет вид: найти (измерить) величину A, если i-тое измерение имеет вид:
 
xi= A + ε i = af+ ε i
 
Можно считать f – эталоном (мерой измерения), а – коэффициент.

при наличии шума методом максимальнрого правдоподобия



,
Тема 10.

Линейная модель используется для оценки амплитуды сигнала при наличии шума методом максимального правдоподобия.
Пусть реализация ξ(t) на интервале наблюдения (0,T) представляетс сумму полезного сигнала заданной формы и нормального шума с дисперсией σ2.
ξ(t)=s(t,a)+ ε(t)= as0(t)+ ε(t)
a – амплитуда сигнала, s0(t) – его форма.
Необходимо оценить амплитуду сигнала по реализации.
Пусть xi – система значений, полученных в результате n отсчетов ξ(t) в моменты времени ti . Считаем измерения не коррелированы, шум нормальный. Оценим параметр методом максимального правдоподобия.

при наличии шума методом максимальнрого правдоподобия



,
Тема 10.

Оценим параметр методом максимального правдоподобия.
Функция правдоподобия и уравнение правдоподобия



Отсюда

Оценка является несмещенной.





Можно показать, что оценка является эффективной.
 Дисперсия

при наличии шума методом максимальнрого правдоподобия



,
Тема 10.

Можно найти также интервальную оценку а. Закон распределения нормальный, так как оценка представляет собой комбинацию взаимнонезависимых случайных величин X, распределенных по нормальному закону.



Если дисперсия шума неизвестна, ее можно найти решив систему уравнений правдоподобия




Можно показать, что после устранения смещения

нескольких сигналов



,
Тема 10. Оценка параметров общей линейной

Пусть нужно оценить амплитуды нескольких сигналов известных форм. В сигнале присутствует так же нормальный шум.

ξ(t)= ajs0j(t)+ ε(t), j=1,k
Функция правдоподобия


Уравнения правдоподобия

...

нескольких сигналов



,
Тема 10. Оценка параметров общей линейной

Линейная система уравнений, которая может быть представлена в матричном виде
 SA=H








Решение системы уравнений правдоподобия
A=S-1H
Оценка J-той амплитуды

Δ – определитель S, Δj – получается при замене j-того столбца на H.

нескольких сигналов



,
Тема 10. Оценка параметров общей линейной

Для амплитуд двух сигналов






Можно показать, что оценки несмещенные и эффективные.
При неизвестной дисперсии ее несмещенная оценка находится

Задачи, связанные с оценкой амплитуд
Мы рассматривали функции, зависящие от времени. В общем случае, это могут быть функции, зависящие от координат, от частоты, от длины волны.
Например, при регистрации спектров, функция зависит от пространственной характеристики, которой ставят в соответствие длины волн. Спектрометр записывает линии при наличии шумов. Задача может быть сформулирована следующим образом: оценить амплитуду спектральной линии, зная форму линии, вызванной излучением определенного количества частиц, если регистрация происходит в тех же условиях.
Таким же образом можно рассматривать спектр гамма-источника.

методом наименьших квадратов



,
Тема 10. Оценка параметров общей

В рамках общей линейной модели оценки параметров чаще всего находят так называемым методом наименьших квадратов (МНК).
В данном случае не требуется знание закона распределения ошибок.
Оценим параметр предыдущей задачи по МНК.
Пусть реализация ξ(t) на интервале наблюдения (0,T) представляет сумму полезного сигнала заданной формы и шума.

ξ(t)=s(t,a)+ ε(t)= as0(t)+ ε(t)

a – амплитуда сигнала, s0(t) – его форма.

Необходимо оценить амплитуду сигнала по реализации.
Пусть xi – система значений, полученных в результате n отсчетов ξ(t) в моменты времени ti .

методом наименьших квадратов



,
Тема 10. Оценка параметров общей

Для оценки параметра минимизируем следующую функцию


Т.е. надо найти такое а, чтобы сумма квадратов отклонений выборочных значений от истинных значений была минимальна.
 
Для нахождения минимума вычисляем производную и приравниваем ее к 0



Это уравнение совпадает с уравнениями правдоподобия.
 Оценки нескольких параметров находятся из уравнений, которые были получены при рассмотрении метода максимального правдоподобия при оценки нескольких параметров.
 
 

методом наименьших квадратов



,
Тема 10. Оценка параметров общей

 Свойства оценок МНК, применительно к линейной модели

xi= a1f1i+ a2f2i+...+ akfki +ε i
 
Оценки являются несмещенными.
Оценки являются эффективными, они имеют минимальную дисперсию.
Оценка дисперсии ошибок.

методом наименьших квадратов



,
Тема 10. Оценка параметров общей

 Наиболее важное применение метода наименьших квадратов для нахождения параметров линейной модели связано с задачей аппроксимации экспериментальной зависимости.
 
Пусть задана детерменированная функция
y= a0f0(x)+ a1f1(x)+ ...+ amfm(x)
 Значения параметров неизвестны, по измеренным значениям y в точках x нужно найти значения параметров.
 
Искомая функция может иметь вид многочлена
 
y=a0+a1x+a2x2+...+amxm
  
В качестве примера рассмотрим линейную функцию
 
y=a0+a1x
 
Получены экспериментальные точки, необходимо найти аналитическую формулу, характеризующую процесс. 

,
Тема 10. Оценка параметров общей линейной модели измерений
Аппроксимация экспериментальных данным

Необходимо минимизировать



Дифференцируем по параметрам и приравниваем к 0 и, решая следующую систему, получаем выражения для коэффициентов.