Количество информации в сообщении о событии: формула

Количество информации в сообщении о событии - это число бит, которое нужно, чтобы снять неопределённость относительно того, какой именно исход произошёл. Интуитивно понятно: сообщение «завтра взойдёт солнце» почти не несёт информации, а сообщение «вы выиграли в лотерею» - несёт очень много, потому что второе событие гораздо менее вероятно. Клод Шеннон предложил точную числовую меру этой интуиции через вероятность события, и сегодня эта формула - стандартный вопрос курсов информатики в школе и вузе. Ниже разберём формулу Шеннона и её частный случай для равновероятных исходов - формулу Хартли, покажем, как перевести вероятность в биты, и разберём частые ошибки в задачах. Чтобы сразу почувствовать связь вероятности и количества информации, покрутите калькулятор ниже: он показывает число бит и положение события на кривой $I = \log_2(1/p)$ одновременно.

Что измеряет количество информации

В теории информации сообщение о событии рассматривают не как текст, а как ответ на вопрос «что из возможного произошло». Пока событие не наступило, есть некоторая неопределённость - набор возможных исходов и их вероятностей. Сообщение снимает эту неопределённость полностью: после него точно известно, какой исход случился. Количество информации - числовая мера того, насколько сильно сообщение уменьшило неопределённость, измеряется она в битах: один бит - это количество информации, которое снимает неопределённость между двумя равновероятными исходами (например, орёл или решка). Чем больше исходов было возможно и чем менее вероятен оказавшийся истинным исход, тем больше бит несёт сообщение о нём.

Формула Шеннона: от вероятности к битам

Общая формула Шеннона описывает среднее количество информации на один исход системы с N возможными состояниями и вероятностями $p_1, p_2, \ldots, p_N$:

$$H = -\sum_{i=1}^{N} p_i \log_2 p_i.$$

Это средняя неопределённость системы, её называют энтропией. Но задача про «количество информации в сообщении о конкретном событии» спрашивает не про среднее по всей системе, а именно про одно слагаемое этой суммы - информацию, которую несёт сообщение об исходе $i$ с вероятностью $p_i$:

$$I_i = -\log_2 p_i = \log_2 \frac{1}{p_i}.$$

Формула работает для любой вероятности от 0 до 1: чем меньше $p_i$, тем больше $I_i$. При $p_i = 1$ (событие достоверно) информация равна нулю - сообщение ничего нового не сообщает, потому что исход был известен заранее. Видео ниже показывает именно эту зависимость: по мере того как вероятность события сжимается, число бит в сообщении о нём растёт вдоль той же кривой, на которой отмечена текущая точка.

Рассчитать для своей задачи

Формула Хартли для равновероятных исходов

Частный, но самый частый в задачах случай - когда все N исходов равновероятны, то есть $p_i = 1/N$ для каждого из них. Тогда формула Шеннона упрощается: подставим $p_i = 1/N$ в выражение для $I_i$:

$$I = \log_2 \frac{1}{1/N} = \log_2 N.$$

Это и есть формула Хартли - названа в честь Ральфа Хартли, предложившего её раньше общей формулы Шеннона. Она особенно удобна, когда в задаче явно указано число вариантов: «загадано число от 1 до 32», «вытянута одна карта из колоды в 36 карт», «выбрана одна буква алфавита из 32». В каждом случае достаточно взять логарифм по основанию 2 от числа вариантов. Полезно запомнить несколько опорных значений: два равновероятных варианта дают 1 бит, восемь вариантов - 3 бита, 32 варианта - 5 бит, а 256 вариантов (столько значений умещается в один байт) - ровно 8 бит. На графике ниже видно, что каждое удвоение числа вариантов добавляет ровно один бит - прямое следствие свойств логарифма.

Рассчитать для своей задачи

Как перевести вероятность в биты: пример расчёта

Возьмём классическую формулировку: из колоды в 32 карты наугад вытащили одну. Все карты равновероятны, значит, вероятность конкретной карты $p = 1/32$. Считаем количество информации в сообщении о том, какая именно карта вытащена:

$$I = \log_2 \frac{1}{1/32} = \log_2 32 = 5 \text{ бит}.$$

Если вместо числа вариантов сразу дана вероятность в виде десятичной дроби, например $p = 0{,}125$, порядок действий тот же: взять обратную величину и логарифм по основанию 2:

$$I = \log_2 \frac{1}{0{,}125} = \log_2 8 = 3 \text{ бит}.$$

Если вероятность неудобная (не является обратной степенью двойки, скажем $p = 0{,}2$), результат просто не будет целым числом: $I = \log_2 5 \approx 2{,}32$ бита. Это нормально - формула не требует целого ответа, целые биты получаются только когда $N$ является степенью двойки. В школьных задачах числа почти всегда подбирают так, чтобы ответ был целым, но в общем случае это не обязательно.

Чем количество информации отличается от объёма сообщения

Важно не путать два похожих, но разных вопроса. Количество информации $I = \log_2(1/p)$ - мера неопределённости, снятой конкретным событием, и она зависит только от вероятности этого события. Объём сообщения в битах - совсем другая величина: это длина технической записи сообщения, например число символов, умноженное на число бит на символ алфавита. Так, сообщение «орёл» можно закодировать всего одним битом (0 или 1), хотя записано оно четырьмя буквами, потому что вариантов исхода всего два. И наоборот, длинный текст может нести мало информации по Шеннону, если получатель мог почти наверняка предсказать его содержание заранее. Формула $I = \log_2 N$ отвечает на вопрос «сколько бит нужно, чтобы различить N равновероятных вариантов», а не «сколько символов в записи ответа».

Частые ошибки

• Путаница между количеством информации и числом символов. Количество информации о событии не равно длине текста сообщения - это две разные величины (см. раздел выше).
• Логарифм не того основания. Формула требует $\log_2$, а не $\lg$ или $\ln$. Если под рукой только натуральный логарифм, нужно делить на $\ln 2$: $\log_2 x = \ln x / \ln 2$.
• Вероятность больше единицы или меньше нуля. Вероятность события всегда лежит от 0 до 1. Если в задаче получилась $p > 1$, значит, где-то перепутаны числитель и знаменатель.
• Забыли, что N должно быть числом равновероятных исходов. Формула Хартли $I = \log_2 N$ работает только когда все исходы равновероятны; если вероятности разные, нужно считать через $I_i = -\log_2 p_i$ для конкретного исхода или через полную сумму Шеннона для среднего значения.
• Округление в середине вычисления. Логарифм по основанию 2 от «некруглых» чисел (не степеней двойки) обычно не целый - не нужно искусственно округлять его до ближайшего целого, если в задаче не сказано иначе.

FAQ

Сколько бит информации несёт сообщение о том, что выпал орёл при подбрасывании монеты? Монета симметрична, значит, вероятность орла $p = 1/2$. По формуле $I = \log_2(1/0{,}5) = \log_2 2 = 1$ бит - это минимальная единица информации, снимающая неопределённость между двумя равновероятными исходами.

Как посчитать количество информации, если вероятность события не равна обратной степени двойки? Формула $I = \log_2(1/p)$ работает для любой вероятности от 0 до 1, просто результат может получиться не целым числом бит. Например, при $p = 0{,}3$ получаем $I = \log_2(1/0{,}3) \approx 1{,}74$ бита.

Чем формула Хартли отличается от формулы Шеннона? Формула Хартли $I = \log_2 N$ - частный случай формулы Шеннона для события с N равновероятными исходами. Общая формула Шеннона $I_i = -\log_2 p_i$ учитывает и неравновероятные события: она даёт информацию о конкретном исходе через его собственную вероятность, а не только через общее число вариантов.

Коротко

Количество информации в сообщении о событии считается по формуле $I = -\log_2 p = \log_2(1/p)$, где $p$ - вероятность этого события. Для N равновероятных исходов формула упрощается до формулы Хартли $I = \log_2 N$. Чем менее вероятно событие, тем больше бит несёт сообщение о нём; при достоверном событии ($p=1$) информация равна нулю. Главное - не путать эту величину с объёмом текстовой записи сообщения и всегда использовать логарифм именно по основанию 2.