Далее: §26. Энтропия цепей Маркова Вверх: Глава IV. Энтропия и Назад: §24. Условные энтропии

§25. Энтропия случайных величин

Энтропия $Н(X)$ дискретной случайной величины вычисляется по формуле

$$H(X) = \sum\limits_i {P\{X = x_i \}\log [P\{X = x_i \}]^{ - 1}} .$$

Для непрерывной случайной величины $X$ с плотностью вероятности $f(x)$ определяется дифференциальная энтропия как

$$H(X) = - \int\limits_{ - \infty }^{ + \infty } {f(x)\log f(x)dx} .$$

Здесь везде полагаем, что $p_i \log p_i ^{ - 1} = 0,{\rm если }p_i = 0{\rm и }f(x)\log f(x) = 0,{\rm если}... ... = 0,{\rm так как }\mathop {{\rm lim}}\limits_{{\rm x} \to {\rm0}} x\log x = 0.$

Пример 121. Найти энтропию для биномиального распределения.

Решение. $H(X) = \sum\limits_{m = 0}^n {C_n^m p^mq^{n - m}\log (C_n^m p^mq^{n - m})} ^{ - 1} =$

$$= - \sum\limits_{m = 0}^n {C_n^m p^mq^{n - m}\left[ {\log C_n^m + m\log p + (n - m)\log q} \right]} =$$

$$= - \sum\limits_{m = 1}^n {C_n^m p^mq^{n - m}\log C_n^m } -... ...style n!p^mq^{n - m - 1}\over\displaystyle m!(n - m - 1)!} = }$$

$$= - \sum\limits_{m = 1}^n {C_n^m p^mq^{n - m}\log C_n^m } - n(p\log p + q\log q).$$

Пример 122. Найти энтропию для геометрического распределения.

Решение. Проводим независимые повторные испытания до появления "успеха". Для вычисления Н(X) воспользуемся графом:

Рис. 76

$$H(X) = - p\log p - qp\log (qp) - q^2p\log (q^2p) - ... - q^{n - 1}p\log (q^{n - 1}p) - ... =$$

$$= - p\log p(1 + q + q2 + ... + qn - 1 + ...) - qp\log q(1 + 2q + 3q^2 + ... + nq^{n - 1} + ...) =$$

$$= - p\log p{\displaystyle 1\over\displaystyle 1 - q} - qp\l... ...}^2} = - \log p - {\displaystyle q\over\displaystyle p}\log q.$$

Пример 123. Найти дифференциальную энтропию для показательного распределения.

Решение. $H(X) = \int\limits_0^{ + \infty } {\lambda e^{ - \lambda x}\log (\lambda e^{ - ... ... \\ v = - e^{ - \lambda x} \\ \end{array}} \right\vert} = - \log \lambda +$

$$+ \lambda \log e(\left. { - xe^{ - \lambda x}} \right\vert ... ... + \log e = \log {\displaystyle e\over\displaystyle \lambda }.$$

Пример 124. Найти дифференциальную энтропию для нормального закона распределения.

Решение. $H(X) = \int\limits_{ - \infty }^{ + \infty } {{\displaystyle 1\over\displaystyl... ...t {2\pi } }e^{ - {\displaystyle (x - a)^2\over\displaystyle 2\sigma ^2}}dx = }$

$$= - \log {\displaystyle 1\over\displaystyle \sigma \sqrt {2... ...igma } = t \\ dx = \sigma dt \\ \end{array}} \right\vert =$$

$$= \log (\sigma \sqrt {2\pi )} + {\displaystyle \log e\over\... ...{\displaystyle \log e\over\displaystyle 2\sqrt {2\pi } }\times$$

$$\times ( - t\left. {e^{ - {\displaystyle t^2\over\displaysty... ...sqrt {2\pi } ) + \log \sqrt e = \log (\sigma \sqrt {2\pi e} ).$$

Пример 125. Найти дифференциальную энтропию для случайной величины, распределенной по закону Лапласа.

Решение. Для закона Лапласа $f(x) = {\displaystyle \lambda \over\displaystyle 2}e^{ - \lambda \left\vert {x - a} \right\vert},$поэтому

$$H(X) = - \int\limits_{ - \infty }^{ + \infty } {{\displaysty... ...style 2} - \lambda \left\vert {x - a} \right\vert\log e)dx = }$$

$$= - {\displaystyle \lambda \over\displaystyle 2}[\int\limit... ... a} {e^{\lambda (х - а)} \cdot \lambda (x - a)\log edx - } } }$$

$$- \int\limits_a^{ + \infty } {e^{\lambda (х - а)} \cdot \la... ...ystyle 2} = \log {\displaystyle 2\over\displaystyle \lambda }.$$

Вопросы для самоконтроля

1. Как определяется энтропия дискретных случайных величин?

2. Приведите примеры вычисления энтропии дискретной случайной вели-чины на графе.

3. Чему равна энтропия индикатора события $A$?

4. В каком случае энтропия индикатора события $A$ наибольшая?

5. Приведите примеры энтропий для классических законов распределения.

6. Для каких случайных величин задается дифференциальная энтропия?

7. Чему равна дифференциальная энтропия для показательного закона распределения?

Задачи

I 241. Найдите энтропию для числа белых шаров при извлечении двух шаров из урны, содержащей два белых и один черный шар.

242. Найдите энтропию для числа козырных карт при извлечении двух карт из колоды в 36 карт.

243. Какую степень неопределенности содержит опыт угадывания суммы очков на извлеченной кости из полного набора домино?

244. Найдите энтропию для числа тузов при извлечении трех карт из карт с картинками.

245. Найдите дифференциальную энтропию для равномерного распределе-ния.

246. Найдите дифференциальную энтропию для показательного закона распределения, если известно, что случайная величина $x$ принимает значение меньше единицы с вероятностью 0,5.

II 247. Чему равна энтропия для геометрического закона распределения?

248. Найдите дифференциальную энтропию для распределения Коши.

III 249. Найдите энтропию для распределения Пуассона.

250. Найдите дифференциальную энтропию для распределения Лапласа.

Далее: §26. Энтропия цепей Маркова Вверх: Глава IV. Энтропия и Назад: §24. Условные энтропии