Далее: §28. Информация и логические Вверх: Глава IV. Энтропия и Назад: §26. Энтропия цепей Маркова

§27. Количество информации

Основные задачи, которые ставил перед собой К. Шеннон в середине ХХ в. при создании направления, в последующие годы получившего название "теория информации", были связаны с чисто техническими вопросами электросвязи и радиосвязи. Работы Шеннона оказали большое стимулирующее влияние на исследования, относящиеся к передаче и сохранению какой бы то ни было информации в природе и технике.

Информацию можно измерить числом, которое называется количеством информации об опыте $\beta$, содержащемся в опыте $\alpha$:

$$I(\alpha ,\beta ) = H(\beta ) - H(\beta / \alpha ).$$

Количество информации $I(\alpha$, $\beta ) \quad o$оказывает, насколько осуществление опыта $\alpha$ уменьшает неопределенность опыта $\beta$.

Количество информации предлагается находить на ориентированном графе:

Рис. 79

Поскольку представленный способ вычисления количества информации на графе является авторским, то проиллюстрируем его на следующем примере.

Пример 131. В урне два белых и два черных шара. Опыт $\beta$ состоит в извлечении из урны шара, а опыт $\alpha$ - в предварительном извлечении из той же урны (без возвращения) двух шаров. Найти количество информации об опыте $\beta$, содержащемся в опыте $\alpha$.

Решение. Построим ориентированный граф опытов $\alpha$ и $\beta$.

Рис. 80

$$I(\alpha ,\beta ) = \left( {{\displaystyle 1\over\displaysty... ...\over\displaystyle 3} = {\displaystyle 1\over\displaystyle 3}.$$

Свойства количества информации:

• $0 \le$ I($\alpha$, $\beta ) \quad \le$ H ($\beta )$;
• ($\alpha$,$\beta )$ = H ($\alpha )$ + H ($\beta )$ - H( $\alpha \quad \bullet \quad \beta )$;
• ($\alpha$,$\beta )$ = I($\beta$,$\alpha )$;
• ($\alpha$, $\beta \gamma ) \quad \ge$ I($\alpha$,$\beta )$, где $\alpha$, $\beta$, $\gamma$ - три произвольных опыта.

К понятию меры количества информации можно подойти с другой стороны. Пусть происходит некоторое событие $А$ с вероятностью $Р(А)$. Если вероятность $Р(А)$ близка к единице, то событие $А$ практически достоверно и его появление не несет никакой информации. Однако если произойдет противоположное событие $\bar {А}$, то $\bar {А}$ несет значительную информацию (близкую к сенсации). Поэтому за количество меры информации события $А$ принимаем величину

$$I(A) = \log \left[ {P(A)} \right]^{ - 1} = - \log P(A).$$

Пусть $\alpha$ есть некоторый эксперимент с исходами $А_{1}$, $А_{2}$, ... , $А_{n}$, которые осуществляются с вероятностями $Р(А_{1})$, $Р$( $А_{2})$, ... , $Р(А_{n})$. Информация, полученная в результате испытания $\alpha$, есть случайная величина $I_{\alpha }$ , принимающая значения $- \log P(A_i ),$ $i=1, 2, \ldots , n$.

$$I(A):\left( {\begin{array}{lll} \hfil A_1 & \hfil A_2 & \hf... ...) & - \log P(A_2 ) & ... - \log P(A_n ) \end{array}} \right )$$

Подсчитаем среднюю информацию опыта $\alpha$. Примем за меру исхода $A_{i}$ его вероятность $P(A_{i})$. Тогда

$$M[I_A ] = - \sum\limits_{i = 1}^n {P(A_i )\log P(A_i ) = H(\alpha ).}$$

Таким образом, математическое ожидание информации эксперимента $\alpha$ есть энтропия этого эксперимента.

Единица измерения информации такая, как и энтропии, - 1 бит.

Пример 132. В предыдущем примере поменяем местами очередность проведения опытов $\alpha$ и $\beta$. Найти количество информации об опыте $\alpha$, содержащемся в опыте $\beta$.

Решение.

$$H(\alpha ) = {\displaystyle 1\over\displaystyle 2}\log 2 + {\displaystyle 1\over\displaystyle 2}\log 2 = 1.$$

Найдем условную энтропию $Н(\alpha /\beta )$ по графу

Рис. 81

$$H(\alpha / \beta ) = {\displaystyle 1\over\displaystyle 6}(1... ...og 2} \right) \cdot 4 = {\displaystyle 2\over\displaystyle 3}.$$

Отсюда $I(\beta ,\alpha ) = H(\alpha ) - H(\alpha / \beta ) = 1 - {\displaystyle 2\over\displaystyle 3} = {\displaystyle 1\over\displaystyle 3}.$

Эти два примера иллюстрируют свойство 3) количества информации.

Пример 133. Какое количество информации получаем для геометрического распределения, если дополнительно сообщается, что испытаний проводится не больше двух?

Решение. $H(X) = - \log p - {\displaystyle q\over\displaystyle p}\log q.$

Пусть $\alpha$ - проведение двух повторных испытаний, тогда

$$H(X / \alpha ) = - p\log p - qp\log (qp) = - p(1 + q)\log p - pq\log q.$$

$$\begin{array}{l} I(\alpha ,X) = H(X) - H(X / \alpha ) = - \... ...ystyle 1\over\displaystyle p}} \right)\log q]. \\ \end{array}$$

Пример 134. Найти количество информации при вынимании козырной карты из 16 карт с картинками, содержащейся в предварительно извлеченной одной карте.

Решение. Пусть опыт $\beta$ = {извлечение карты из 16 карт с картинками}, а опыт $\alpha$ = {предварительное извлечение одной карты}. Для вычисления $I(\alpha$, $\beta ) \quad \theta$спользуем ориентированный граф.

Рис. 82

$$\begin{array}{l} I(\alpha ,\beta ) = H(\beta ) - H(\beta / ... ...1\over\displaystyle 20}\log 11} \right){\rm (бит).} \end{array}$$

Пример 135. Доказать, что

а) $I(\alpha ,\beta ) = H(\alpha ) + H(\beta ) - H(\alpha \cdot \beta ),$

б) $I(\alpha ,\beta ) = I(\beta ,\alpha ).$

Решение. Поскольку энтропия произведения двух опытов $H(\alpha \cdot \beta ) = H(\alpha ) + H(\beta / \alpha ),$ то

$$I(\alpha ,\beta ) = H(\beta ) - H(\beta / \alpha ) = H(\beta ) + H(\alpha ) - H(\alpha \cdot \beta ).$$

С другой стороны, $H(\alpha \cdot \beta ) = H(\beta \cdot \alpha ) = H(\beta ) + H(\alpha / \beta ),$ тогда

$$I(\beta ,\alpha ) = H(\alpha ) - H(\alpha / \beta ) = H(\beta ) - H(\beta / \alpha ) = I(\alpha ,\beta ).$$

Вопросы для самоконтроля

1. Что такое информация?

2. Как можно измерить информацию?

3. Единицы измерения информации.

4. Возможные способы подсчета информации.

5. Какой информации больше: об опыте $\beta$, содержащейся в опыте $\alpha$, или об опыте $\alpha$, содержащейся в $\beta$?

6. Наименьшее значение количества информации и его интерпретация.

7. В каком случае получаем наибольшую информацию?

8. Интерпретация информации через энтропию.

Задачи

I 261. В урне находятся один белый и два черных шара. Найдите количество информации об извлечении шара, содержащейся в предварительном извлечении одного шара.

262. Найдите количество информации при вынимании козырной карты из колоды в 52 карты, содержащейся в предварительно извлеченной одной карте.

263. Найдите количество информации о простых цифрах при извлечении двух карточек из цифровой азбуки, содержащейся в предварительном извлечении одной карточки.

264. В каком отношении находятся известные единицы измерения инфор-мации: двоичная (бит), натуральная (нат), десятичная (дит)?

265. Какое количество информации следует получить, чтобы определить студента, выбранного из 48 "математиков" III курса?

266. Какое количество информации в среднем получает человек, опреде-ляющий день рождения своего собеседника, когда последний сообщает ему месяц, в котором он родился?

II 267. Из урны, содержащей два белых и три черных шара, извлекли шар. Найдите информацию об этом опыте, содержащуюся в предварительном извлечении из этой урны пары шаров.

268. Предлагается угадать карту, наудачу вынутую из колоды в 36 карт. Какое количество информации получит угадывающий, если дополни-тельно сообщить:

а) масть вынутой карты,

б) что вынутая карта оказалась тузом?

III 269. Какое количество информации получаем для биноминального распределения, если известно, что повторные испытания проводятся ровно два раза?

270. Какое количество информации получаем для геометрического распре-деления, если дополнительно сообщается, что испытаний проводится не больше трех?

Далее: §28. Информация и логические Вверх: Глава IV. Энтропия и Назад: §26. Энтропия цепей Маркова