Теория вероятностей и математическая статистика

предельные теоремы

Закон больших чисел и предельные теоремы
Закон больших чисел и предельные

теоремы

C. 101-110, 135-137

 
Фигурин, В.А. and В.В. Оболонкин, Теория вероятностей и

математическая статистика. 2000, Минск: ООО "Новое знание". 207.
Гусак, А.А. and Е.А. Бричикова, Теория вероятностей. Справочное пособие к решению задач. 2009, Минск: ТетраСистемс. 288.
Гмурман, В.Е., Теория вероятностей и математическая статистика. 2003, Москва: Высшая школа.

законом больших чисел не следует понимать какой-то один общий закон,

связанный с большими числами. Закон больших чисел - это обобщенное название нескольких теорем, из которых следует, что при неограниченном увеличении числа испытаний средние величины стремятся к некоторым постоянным.

Теорема Чебышева;
Теоремак Бернулли.

что отклонение случайной величины X от ее математического ожидания по

абсолютной величине меньше положительного числа ε, не меньше, чем 1-D(X)/ ε2.

P(|X-M(X)|< ε)≥ 1-D(X)/ ε2

P(|X-M(X)|< ε), если ε – достаточно малое, - вероятность того, что величина X примет значения, близкие к ее математическому ожиданию.

действительно как для дискретных, так и для непрерывных величин. Рассмотрим

док-во для дискретных величин.

X x1 x2 x3 ..
P p1 p2 p3....

P(|X-M(X)|< ε) и P(|X-M(X)| ≥ ε) – противоположные события.

P(|X-M(X)|< ε) + P(|X-M(X)| ≥ ε)=1

P(|X-M(X)|< ε) =1-P(|X-M(X)| ≥ ε)
 
Вычислим P(|X-M(X)| ≥ ε)

действительно как для дискретных, так и для непрерывных величин. Рассмотрим

док-во для дискретных величин.

X x1 x2 x3 ..
P p1 p2 p3....

P(|X-M(X)|< ε) и P(|X-M(X)| ≥ ε) – противоположные события.

P(|X-M(X)|< ε) + P(|X-M(X)| ≥ ε)=1

P(|X-M(X)|< ε) =1-P(|X-M(X)| ≥ ε)
 
Вычислим P(|X-M(X)| ≥ ε)

[x1-M(X)]2p1+[x2-M(X)]2p2+...+[xn-M(X)]2pn.

Все слгаемые этой суммы неотрицательны.
Отбросим те слагаемые, у которых

|xi-M(X)|<ε.
Для оставшихся |xj-M(X)| ≥ε.

следствие этого сумма только уменьшиться. Будем считать, что отброшено k первых слагаемых. Пусть так будет составлена таблица.

Следовательно,
 
D(X) ≥ [xk+1-M(X)]2pk+1+[xk+2-M(X)]2pk+2+...+[xn-M(X)]2pn.
 
|xj-M(X)| ≥ε. Или |xj-M(X)|2 ≥ε2. j=k+1,...n .Заменяем на ε2 соответствующие члены.

Неравенство может только усилится.
 
D(X) ≥ ε2(pk+1+pk+2+...+pn)
 

ε2(pk+1+pk+2+...+pn)
 
По теореме сложения pk+1+pk+2+...+pn –вероятность того, что величина X примет

одно из значений (безразлично какое) xk+1,xk+2_...,xn. А при любом из них |xj-M(X)| ≥ε.
 
Следовательно сумма pk+1+pk+2+...+pn выражает вероятность P(|xj-M(X)| ≥ε).
 
Cледовательно D(X) ≥ ε2(pk+1+pk+2+...+pn) можно переписать как

D(X) ≥ ε2 P(|xj-M(X)| ≥ε).
 
P(|xj-M(X)| ≥ε)≤ D(X)/ ε2
 
Учитывая,

что P(|X-M(X)|< ε) =1-P(|X-M(X)| ≥ ε),
окончательно имеем
 
P(|X-M(X)|< ε) ≥1- D(X)/ ε2
 
Чтд.

Иногда говорят о первом и втором неравенствах Чебышева.
P(|X-M(X)|> ε) P(|X-M(X)|< ε) ≥1- D(X)/ ε2

величины X1, X2,...,Xn независимы, имеют математические ожидания M (Xn )

и дисперсии D (Xn ), ограниченные одним числом C, то для любого числа ε>0 выполняется неравенство:

Отсюда следует,

Таким образом, теорема Чебышева утверждает, что если рассматривается достаточно большое число независимых случайных величин, имеющих ограниченные дисперсии, то почти достоверным можно считать событие, состоящее в том, что отклонение среднего арифметического случайных величин от среднего арифметического их математических ожиданий будет по абсолютной величине сколь угодно малым.

среднее арифметическое случайных величин
Найдем математическое ожидание среднего арифметического
.
Неравенство Чебышева,

примененное к величине

.

условию, все дисперсии ограничены С.
Переходим к пределу
Учитывая, что

вероятность не может быть больше 1

Чтд.

Теорема Чебышева справедлива как для дискретных, так и для непрерывных случайных величин.

Частный случай – математические ожидания равны a.

среднее арифметическое достаточно большого числа независимых случайных величин (дисперсии которых

равномерно ограничены) утрачивает характер случайной величины.

Объясняется это тем, что отклонения каждой из величин от своих математических ожиданий могут быть как положительными, так и отрицательными, а в среднем арифметическом они взаимно погашаются.

Сущность теоремы такова: хотя отдельные независимые случайные величины могут принимать значения, далекие от своих математических ожиданий, среднее арифметическое достаточно большого числа случайных величин с большой вероятностью принимает значения, близкие к определенному постоянному числу, а именно к числу (М (Х1) + М (Х2) +... +M (Хn))/n (или к числу а (математическое ожидание) в частном случае).

теоремы
.
.



Обычно для измерения некоторой физической величины производят несколько

измерений и их среднее арифметическое принимают в качестве искомого размера. При каких условиях этот способ измерения можно считать правильным?

Рассмотрим результаты каждого измерения как случайные величины

К этим величинам можно применить теорему Чебышева, если:
1) они попарно независимы,
2) имеют одно и то же математическое ожидание,
3) дисперсии их равномерно ограничены.

Тогда при достаточно большом числе измерений почти достоверно, что их среднее арифметическое как угодно мало отличается от истинного значения измеряемой величины.

Итак, теорема Чебышева указывает условия, при которых описанный способ измерения может быть применен. Однако ошибочно думать, что, увеличивая число измерений, можно достичь сколь угодно большой точности. Дело в том, что сам прибор дает показания лишь c определенной точностью.
 
На теореме Чебышева основан широко применяемый в статистике выборочный метод, суть которого состоит в том, что по сравнительно небольшой случайной выборке судят обо всей совокупности (генеральной совокупности) исследуемых объектов.

каждом из п независимых испытаний вероятность р появления события А

постоянна, то как угодно близка к единице вероятность того, что отклонение относительной частоты от вероятности р по абсолютной величине будет сколь угодно малым, если число испытаний достаточно велико.

– дискретная случайная величина — число появлений события в первом

испытании, через Х2 — во втором, ..., Хn—в n испытании. Ясно, что каждая из величин может принять лишь два значения: 1 (событие А наступило) c вероятностью р и 0 (событие не появилось) с вероятностью 1— p = q.
 
Применим теорему Чебышева (частный случай), учитывая, что математическое ожидание равно p.

Т.е. эта сумма рава относительной частоте событий, так как каждая из величин Xi принимает значение 1, если событие А осуществилось и 0, если не осуществилось. Значит сумма X1+... Xn=m – число появления события А в n испытаниях.

– дискретная случайная величина — число появлений события в первом

испытании, через Х2 — во втором, ..., Хn—в n испытании. Ясно, что каждая из величин может принять лишь два значения: 1 (событие А наступило) c вероятностью р и 0 (событие не появилось) с вероятностью 1— p = q.
 
Применим теорему Чебышева (частный случай), учитывая, что математическое ожидание равно p.

Т.е. эта сумма рава относительной частоте событий, так как каждая из величин Xi принимает значение 1, если событие А осуществилось и 0, если не осуществилось. Значит сумма X1+... Xn=m – число появления события А в n испытаниях.

величина X принимает только положительные значения, то вероятность того, что

она не превзойдет некоторой величины δ, больше, чем (1-M(X)/ δ)

P(X≤ δ)≥ (1-M(X)/δ)

Иногда лемму Маркова записывают в виде

P(X> δ)< M(X)/δ

Неравенства называют также неравенствами Маркова.

теоремы
.
.
Центральная предельная теорема
Если случайная величина X представляет собой сумму очень

большого числа взаимно независимых случайных величин, влияние каждой из которых на всю сумму ничтожно мало, то X имеет распределение, близкое к нормальному.

Доказательство.

Законы распределения px(x) n независимых случайных величин Xi одинаковы и неизвестны.
Найти закон распределения суммы py(y), где Y= X1+ X2+...+ Xn. n стремится к бесконечности.
Математическое ожидание и дисперсия каждого из распределений a и σ2 .
Математическое ожидание и дисперсия суммы my=na и σy2=nσ2 .
Ищем закон распределения нормированной величины.
Z= (Y- my)/ σy= (Y- na)/ (n)-1/2σ.

теоремы
.
.
Характеристическая функции каждой величины
Характеристическая функция суммы независимых величин равна произведению

их функций.

Разлагаем ехр в рад Маклорена и берем математическое ожидание от каждого слагаемого

Если вместо X рассматриваем нормированную Z, то вместо начальных моментов нужно рассматривать центральные моменты и вместо ω – величину ω/(σn1/2), тогда для логарифмической характеристической функции получим

теоремы
.
.
μ1=0, μ2=σ2
При увеличении n роль последних слагаемых уменьшается.
Сохраним первые два

члена и воспользуемся приближенной формулой.
ln(1-x)≈-x

Известно, что для нормального распределения

Характеристическая функция имеет вид.

Следовательно закон распределения величины Z

Возвращаясь к величине Y

Cледовательно распределение вероятностей суммы случайных величин, имеющих одинаковые законы распределения, стремиться к нормальному при любом виде закона распределения слагаемых.