Закон больших чисел и неравенство Чебышёва: вывод формулы

Неравенство Чебышёва - один из самых практичных результатов теории вероятностей: оно позволяет оценить вероятность того, что случайная величина X отклонится от своего математического ожидания M(X) на заданную величину, зная только дисперсию D(X), даже если закон распределения X вообще неизвестен. Именно из этого неравенства выводится закон больших чисел в форме Чебышёва: чем больше независимых испытаний n мы усредняем, тем теснее выборочное среднее жмётся к истинному M(X), а вероятность заметного отклонения падает. Ниже - калькулятор: задайте дисперсию, допустимое отклонение и число испытаний, и сразу увидите верхнюю оценку вероятности и то, как она убывает с ростом n.

Что такое неравенство Чебышёва

Пусть случайная величина X имеет конечное математическое ожидание $M(X)$ и конечную дисперсию $D(X)$. Неравенство Чебышёва утверждает, что для любого $\varepsilon > 0$:

$P(|X - M(X)| \ge \varepsilon) \le \frac{D(X)}{\varepsilon^2}.$

Смысл прост: чем меньше дисперсия и чем больше допустимое отклонение $\varepsilon$, тем меньше шанс, что величина сильно уйдёт от своего среднего. Неравенство доказывается через более простое неравенство Маркова, применённое к неотрицательной величине $Y = (X - M(X))^2$: для неё $P(Y \ge \varepsilon^2) \le M(Y)/\varepsilon^2$, а $M(Y)$ по определению и есть дисперсия $D(X)$. Отсюда сразу следует и равносильная форма - оценка снизу вероятности НЕ выйти за пределы $\varepsilon$:

$P(|X - M(X)| < \varepsilon) \ge 1 - \frac{D(X)}{\varepsilon^2}.$

Главное достоинство неравенства - универсальность: оно верно для любой случайной величины с конечной дисперсией, будь то дискретная, непрерывная, симметричная или сильно скошенная. Плата за это - грубость: оценка часто заметно завышает реальную вероятность отклонения, зато не требует знания закона распределения.

Дисперсия случайной величины и разброс значений

Дисперсия $D(X)$ измеряет средний квадрат отклонения от математического ожидания и напрямую входит в оценку Чебышёва в числитель. Чем больше разброс значений X вокруг центра, тем менее информативна оценка при фиксированном $\varepsilon$: например, при $D(X) = 4$ и $\varepsilon = 1$ оценка даёт $P(|X - M(X)| \ge 1) \le 4$, что формально верно, но бесполезно - любая вероятность не превышает единицы. Такие тривиальные оценки (правая часть $\ge 1$) означают, что при данных числах неравенство ничего не сообщает: нужно либо увеличить $\varepsilon$, либо, если речь о выборочном среднем, увеличить число испытаний n. Именно эта зависимость от n и есть мост к закону больших чисел.

Закон больших чисел: почему выборочное среднее сходится к M(X)

Пусть $X_1, X_2, \dots, X_n$ - независимые случайные величины с одинаковым математическим ожиданием $M(X)$ и одинаковой дисперсией $D(X)$ (например, повторные независимые измерения одной и той же величины). Их среднее арифметическое:

$\bar X_n = \frac{1}{n}\sum_{i=1}^{n} X_i.$

У среднего то же математическое ожидание $M(\bar X_n) = M(X)$, но дисперсия в n раз меньше - это следствие независимости слагаемых: $D(\bar X_n) = D(X)/n$. Применив неравенство Чебышёва уже к $\bar X_n$, получаем ключевую оценку закона больших чисел:

$P(|\bar X_n - M(X)| \ge \varepsilon) \le \frac{D(X)}{n\,\varepsilon^2}.$

Это и есть теорема Чебышёва (закон больших чисел в форме Чебышёва): при фиксированном $\varepsilon > 0$ правая часть стремится к нулю по мере роста n, а значит, вероятность заметного отклонения выборочного среднего от истинного $M(X)$ падает сколь угодно близко к нулю. Именно поэтому среднее по большой выборке - надёжная оценка математического ожидания, даже если распределение отдельного наблюдения X неизвестно.

Рассчитать для своей задачи

Как оценить вероятность отклонения на практике

Разберём классическую формулировку. Дисперсия случайной величины $D(X) = 4$, допустимое отклонение $\varepsilon = 1$, число усредняемых независимых испытаний $n = 10$. Подставляем в формулу закона больших чисел:

$P(|\bar X_{10} - M(X)| \ge 1) \le \frac{4}{10 \cdot 1^2} = 0{,}4.$

Значит, вероятность того, что среднее по 10 испытаниям отклонится от истинного $M(X)$ не меньше чем на 1, не превышает 40%. Равносильно: вероятность того, что среднее останется в пределах $\pm 1$ от $M(X)$, не меньше $1 - 0{,}4 = 0{,}6$, то есть не меньше 60%. Обратите внимание: это гарантия «снизу», а не точное значение - реальная вероятность попадания в интервал может быть заметно выше.

Рассчитать для своей задачи

Сколько испытаний нужно, чтобы гарантировать нужную точность

Формулу закона больших чисел легко обратить и получить минимальное число испытаний, при котором оценка вероятности отклонения не превышает заданный порог $p_0$:

$n \ge \frac{D(X)}{\varepsilon^2 \cdot p_0}.$

Продолжим пример: при $D(X) = 4$, $\varepsilon = 1$ и желаемом пороге $p_0 = 0{,}05$ (то есть нужна гарантия хотя бы 95% попадания в интервал $\pm 1$) получаем:

$n \ge \frac{4}{1^2 \cdot 0{,}05} = 80.$

То есть нужно усреднить не меньше 80 независимых наблюдений, чтобы неравенство Чебышёва гарантировало вероятность отклонения не выше 5%. Это типичная задача «на обратную сторону» закона больших чисел - она часто встречается в контрольных именно в такой формулировке: не оценить вероятность по заданному n, а найти n по заданной вероятности.

Насколько точна оценка Чебышёва: сравнение с реальной вероятностью

Неравенство Чебышёва работает для любого распределения с конечной дисперсией - в этом его сила, но и источник грубости. Для конкретных распределений с известным законом реальная вероятность хвоста часто убывает намного быстрее, чем предсказывает оценка $D(X)/(n\varepsilon^2)$: например, для суммы большого числа независимых слагаемых (по центральной предельной теореме распределение среднего приближается к нормальному) реальный хвост убывает экспоненциально по $\varepsilon$, тогда как оценка Чебышёва - лишь квадратично. Поэтому на практике неравенство Чебышёва используют не как точный расчёт, а как гарантированную, пусть и осторожную, верхнюю границу - особенно когда о распределении известны только среднее и дисперсия.

Рассчитать для своей задачи

Частые ошибки

• Путают $\varepsilon$ с вероятностью. В неравенстве Чебышёва $\varepsilon$ - это допустимое отклонение величины (в тех же единицах, что и сама X), а не вероятность. Вероятность - то, что стоит слева.
• Подставляют среднее квадратическое отклонение вместо дисперсии. В формулу входит именно $D(X)$ (дисперсия), а не $\sigma = \sqrt{D(X)}$ - эта путаница даёт оценку, заниженную в квадрат раз.
• Используют формулу для одной величины вместо формулы для среднего. Если задача про среднее n независимых наблюдений, нужен вариант с $n\varepsilon^2$ в знаменателе, а не просто $\varepsilon^2$ - иначе оценка получится сильно завышенной.
• Принимают оценку Чебышёва за точную вероятность. Это верхняя граница, часто грубая; реальная вероятность отклонения обычно меньше.
• Не замечают тривиальный случай. Если правая часть неравенства получилась $\ge 1$, оценка бесполезна: любая вероятность и так не превышает единицы. Нужно увеличить $\varepsilon$ или n.

FAQ

В чём разница между неравенством Чебышёва и законом больших чисел? Неравенство Чебышёва - общий инструмент оценки вероятности отклонения любой случайной величины от её математического ожидания через дисперсию. Закон больших чисел в форме Чебышёва - это применение того же неравенства к выборочному среднему $\bar X_n$: оно показывает, что при росте n вероятность заметного отклонения среднего от $M(X)$ стремится к нулю.

Можно ли использовать неравенство Чебышёва, если закон распределения X неизвестен? Да, в этом и есть его ценность: достаточно знать только математическое ожидание и дисперсию X, форма распределения не важна. Это отличает его от точных вероятностных расчётов, которые требуют знания конкретного закона (биномиального, нормального и так далее).

Что делать, если оценка по Чебышёву получилась больше 1? Такая оценка формально верна, но неинформативна: она лишь повторяет тот факт, что вероятность не превышает единицы. Нужно либо увеличить допустимое отклонение $\varepsilon$, либо, если речь о выборочном среднем, увеличить число испытаний n - тогда оценка станет содержательной.

Коротко

Неравенство Чебышёва даёт универсальную верхнюю оценку вероятности отклонения случайной величины от математического ожидания через дисперсию: $P(|X - M(X)| \ge \varepsilon) \le D(X)/\varepsilon^2$. Применённое к выборочному среднему n независимых величин, оно превращается в закон больших чисел: $P(|\bar X_n - M(X)| \ge \varepsilon) \le D(X)/(n\varepsilon^2)$, и эта граница стремится к нулю с ростом n. Оценка часто грубая по сравнению с реальной вероятностью, но её сила в том, что она работает для любого распределения с конечной дисперсией и не требует знания его формы.