Далее: §25. Энтропия случайных величин Вверх: Глава IV. Энтропия и Назад: §23. Энтропия как мера

§24. Условные энтропии

Условная энтропия $Н(\beta/A_{k})$ опыта $\beta$ относительно исхода $A_{k}$ определяется следующим образом

$$H(\beta / A_k ) = \sum\limits_j {P(B_j / A_k )\log [P(B_j / A_k )^{ - 1}} .$$

Условной энтропией $Н(\beta/\alpha) \quad$ пыта $\beta$ относительно опыта $\alpha$ называется математическое ожидание условной энтропии опыта $\beta$ относительно всех исходов опыта $\alpha$:

$$H(\beta / \alpha ) = \sum\limits_i {P(A_i )H(\beta / A_i )} .$$

Условную энтропию $Н(\beta /\alpha )$ предлагается находить по следующему графу:

Рис. 72

Свойства энтропии:

$$H(\alpha ) \ge 0;$$

$$H(\alpha ) = 0,{\rm если }P(A_i ) = 1,{\rm и все }P(A_j ) = 0,j \ne i;$$

$$H(\alpha ) - \max ,{\rm если все }P(A_i ) = {\displaystyle 1\over\displaystyle n}, i = 1,2,...n;$$

$$H(\alpha \cdot \beta ) = H(\alpha ) + H(\beta / \alpha );$$

$$0 \le H(\beta / \alpha ) \le H(\beta );$$

$$H(\alpha _1 \cdot \alpha _2 \cdot ... \cdot \alpha _k ) \le H(\alpha _1 ) + H(\alpha _2 ) + ... + H(\alpha _k ).$$

Пример 116. Какую энтропию содержит опыт угадывания простой цифры при извлечении из цифровой азбуки при условии, что одна карточка утеряна?

Решение 1. Пусть опыт $\alpha$ = {утеряна одна карточка} = $A_{1}$,$A_{2}$, где $A_{1}$={утеряна карточка с простой цифрой}, $A_{2}$ = {утеряна карточка с непростой цифрой}. Опыт $\beta$ = {угадывание карточки с простой цифрой}, и в задаче предлагается найти условную энтропию $Н(\beta /\alpha )$.

$$H(\beta / \alpha ) = P(A_1 ) \cdot H(\beta / A_1 ) + P(A_2 ) \cdot H(\beta / A_2 )$$

Поскольку карточек с простыми цифрами четыре, то $P(A_1 ) = {\displaystyle 4\over\displaystyle 10},$а $P(A_2 ) = 1 - P(A_1 ) = {\displaystyle 6\over\displaystyle 10},$

$$H(\beta / A_1 ) = {\displaystyle 3\over\displaystyle 9}\log ... ...playstyle 6} = \log 3 - {\displaystyle 2\over\displaystyle 3},$$

поскольку после утери карточки с простой цифрой осталось 9 карточек, и из них 3 с простой цифрой.

$$H(\beta / A_2 ) = {\displaystyle 4\over\displaystyle 9}\log ... ...displaystyle 9}\log 5 - {\displaystyle 8\over\displaystyle 9}.$$

Следовательно, $H(\beta / \alpha ) = {\displaystyle 2\over\displaystyle 5}\left( {\log 3 - {\di... ...\over\displaystyle 9}\log 5 - {\displaystyle 8\over\displaystyle 9}} \right) =$

= $\left( {{\displaystyle 8\over\displaystyle 5}\log 3 - {\displaystyle 1\over\displaystyle 3}\log 5 - {\displaystyle 4\over\displaystyle 5}} \right)$(бит).

Решение 2. Построим граф двух зависимых опытов $\alpha$ и $\beta$:

Рис. 73

Тогда $H(\beta / \alpha ) = {\displaystyle 2\over\displaystyle 5}\left( {{\displaystyl... ...e 4\over\displaystyle 5} \approx 1,6 \cdot 1,6 - 0,33 \cdot 2,3 - 0,8 \approx 1$(бит).

Пример 117. Найти энтропию угадывания простых цифр при извлечении двух карточек из цифровой азбуки.

Решение 1. Построим граф неопределенности данного сложного опыта.

Рис. 74

$H(\alpha \cdot \beta ) = {\displaystyle 2\over\displaystyle 15}\log {\displayst... ...e 2\over\displaystyle 3}\log 5 - {\displaystyle 6\over\displaystyle 5}} \right)$(бит).

Решение 2. Воспользуемся свойством энтропии, по которому $H(\alpha \cdot \beta ) = H(\alpha ) + H(\beta / \alpha )$. Из предыдущего примера $H(\beta / \alpha ) = {\displaystyle 8\over\displaystyle 5}\log 3 - {\displaystyle 1\over\displaystyle 3}\log 5 - {\displaystyle 4\over\displaystyle 5}$, а $H(\alpha ) = {\displaystyle 2\over\displaystyle 5}\log {\displaystyle 5\over\di... ...playstyle 3\over\displaystyle 5}\log 3 - {\displaystyle 2\over\displaystyle 5}.$ Тогда $H(\alpha \cdot \beta ) = \left( {\log 5 - {\displaystyle 3\over\displaystyle 5}... ...e 2\over\displaystyle 3}\log 5 - {\displaystyle 6\over\displaystyle 5}} \right)$(бит).

Пример 118. Какую неопределенность содержит опыт угадывания четности суммы очков случайно взятой кости домино, если известно, что одна кость утеряна?

Решение. Утеряна может быть кость с четной суммой или с нечетной, что задает предварительный опыт $\alpha$. Находим условную энтропию как полный вес графа

Рис. 75

$$\begin{array}{l} H(\beta / \alpha ) = {\displaystyle 4\over... ...32\over\displaystyle 21}} \right)\mbox{(бит).} \\ \end{array}$$

Пример 119. Найти энтропию четности сумм очков на двух костях, извлеченных из полного набора домино.

Решение. Пусть опыт $\alpha$ = {извлечение первой кости домино}, а $\beta$ = {извлечение второй кости домино}. Тогда энтропию сложного опыта $\alpha\cdot \beta \nu$ находим по правилу сложения энтропий.

$H(\alpha \cdot \beta ) = H(\alpha ) + H(\beta / \alpha )$, где условная энтропия $H(\beta /\alpha )$ вычислена в решении предыдущего примера.

$$H(\alpha ) = {\displaystyle 4\over\displaystyle 7}\log {\dis... ...tyle 7} \cdot 2 - {\displaystyle 3\over\displaystyle 7}\log 3.$$

$$\begin{array}{l} H(\alpha \cdot \beta ) = \left( {\log 7 - ... ...56\over\displaystyle 21}} \right)\mbox{(бит).} \\ \end{array}$$

Пример 120. Доказать, что $H(\alpha \cdot \beta ) = H(\alpha ) + H(\beta / \alpha ),$ если опыты $\alpha$ и $\beta$ содержат по два исхода.

Решение. Пусть $\alpha$ = {A$_{1}$,A$_{2}$}, a $\beta$ = {B$_{1}$,B$_{2}$}, тогда $\alpha\cdot \beta = {\{}A_{1}\cdot B_{1}$, $A_{1}\cdot A_{2}$, $A_{2}\cdot B_{1}$, $A_{2}\cdot B_{2}$} и

$$\begin{array}{l} H(\alpha \cdot \beta ) = - [P(A_1 \cdot B_... ...eta / A_2 ) = H(\alpha ) + H(\beta / \alpha ). \\ \end{array}$$

Вопросы для самоконтроля

1. Назовите правило сложения энтропий. При каких условиях оно выпол-няется?

2. Как изменяется правило сложения энтропий, если изменить его условия?

3. Как изменяется энтропия опыта, если известен результат одного из его исходов?

4. В каком случае мера неопределенности не изменится при проведении предварительного опыта?

5. Назовите свойства условных энтропий.

6. В каком случае условная энтропия принимает наименьшее значение?

7. Приведите примеры максимальных и минимальных условных энтропий.

Задачи

I 231. Какую степень неопределенности содержит опыт извлечения двух костей домино относительно "дуплей"?

232. Найдите энтропию четности сумм очков на двух костях, извлеченных из полного набора домино.

233. Какую степень неопределенности содержит опыт извлечения двух ша-ров из урны, в которой находятся два белых и три черных шара?

234. На сколько изменится энтропия опыта из предыдущей задачи, если известно, что первым был извлечен белый шар?

235. Найдите энтропию угадывания дней рождения двух случайно встре-ченных людей.

236. Найдите энтропию угадывания месяцев рождения двух незнакомых вам студентов.

II 237. Какую энтропию содержит опыт угадывания простых цифр при изв-лечении из цифровой азбуки двух карточек?

238. Какую энтропию содержит опыт угадывания простых цифр при извле-чении двух карточек из цифровой азбуки при условии, что одна из карточек утеряна?

III 239. Найдите энтропию угадывания простых цифр при извлечении трех карточек из цифровой азбуки.

240. На сколько изменится энтропия опыта из предыдущей задачи, если известно, что первой была извлечена карточка с простой цифрой?

Далее: §25. Энтропия случайных величин Вверх: Глава IV. Энтропия и Назад: §23. Энтропия как мера