тора! |а некоторого события /1 (см, § 13), определить, при каком значении р исход испытания обладает наибольшей нео п р сделен ностью.
Р е ш е н и е. Согласно формуле (2),. энтропия распреде
ления- индикатора запишется в виде
н гА = — И- Р log2p) = — ((1 — р) log2 (1 —
— р) + р log»р).
Переходя для удобстпа вычислений к основанию натураль
ных логарифмов, найдем максимум функции ЩА обычны
ми средствами. Имеем
стигает максимума.
Обобщая этот результат, можно показать, что из всех распределений вида (1) максимальной энтропией, естествен
но, обладает равномерное распределение (см. § 13, 1), т. е.
в этом случае предсказать исход испытания труднее всего и эта трудность будет, очевидно, возрастать вместе с числом исходов испытания*.
Наряду с энтропией дискретного распределения рассмат
ривается также и энтропия непрерывной случайной вели
чины £, которая, определяется формулой уверенно предсказать исход испытания
л 1
Так как— — < 0 , то при р = величина Н~А {р) до- с1Ч!гл (р)
(3)
где f i (х) — плотность распределения вероятностей £ (/^ (х) х X log2fi (*) э* 0 для тех значений при которых fi (x) =
= 0). В предположении сходимости интеграл (3) является мерой неопределенности непрерывной случайной величины
Пример 3. Отыскать энтропию непрерывной нормально распределенной случайной величины | с параметрами ME, =
— 0, 0| = а.
Р е ш е н и е. Следуя формуле (7) из § 15, находим, что в данном случае
Последний интеграл представим в виде суммы двух сла
гаемых!
х^_
.20 2
Отсюда на основании формулы (3) получаем
— оо
Уже отмечалось, что
как интеграл Пуассона, а
со ^
Следовательно,
/ун°рм= log2 (<j У 2пе) бит.
139
1. Д в е дискретны е случайные величины и £2 заданы своими законам и распределения вероятностей:
З А Д А Ч И
І1 0,9 1 1,1 £2 - 3 0 0 I 1200
1 1 1 Р 1 1 I
р 4 2 4 Р 2 4 4
Подсчитать энтропии Н* и этих испытаний.
2. Имеются две коробки с карандашами. В первой из них 10 крас
ных карандаш ей, 5 зеленых и 5 синих, во второй 8 красны х, 8 зеле
ных и 4 синих. Из каждой коробки извлекаю т по одному карандаш у.
Найти энтропии Н х и / / 2 этих испытаний. Выяснить, исход какого из этих двух испытаний следует считать более неопределенным.
3. П роизводится стрельба по двум мишеням. По первой мишени сделано два выстрела с вероятностью попадания прн одном выстреле, равной -g . По второй мишени сделано трн выстрела с вероятностью1 попадания - j. Определить для каждой мишени, какой исход стрель
бы является более определенным.
4. В двух урнах находятся по 15 шаров, причем в первой урне 5 красны х, 7 белых и 3 черных, а во второй 4 красных, 4 белых и 7 черных. Из каждой урны извлекаю т по одному шару. Подсчи
тать энтропии H i и Н., этих испытаний. Выяснить, для какой из урн исход испытания является более определенным.
5. Пусть из многолетних наблюдений за погодой известно, что для пункта А вероятность того, что 15 июня будет идти дож дь, равна 0,4, а вероятность того, что в указанны й день дож дя не будет, рав
на 0,6. Д алее для пункта А вероятность того, что 15 ноября будет идти дож дь, равна 0,05, вероятность того, что будет идти снег равна 0,15 и вероятность того, что 15 ноября вовсе не будет осадков, равна 0,2. Если из всех характеристик погоды интересоваться только вопросом о наличии и характере осадков, то в какой из двух перечисленных дней погоду в пункте А следует считать более не
определенной?
6. Исход какого нз следующих двух испытаний обладает боль
шей неопределенностью: а) внутри правильного треугольника на
удачу выбирается точка, которая может оказаться как внутри, так и вне вписанного в него круга; б) внутри круга наудачу выби
раете» точка, которая может оказаться как внутри, так н вне впи
санного в него правильного треугольника?
7. Н айти энтропию дискретной случайной величины £, име
ющей геометрическое распределение (см. § 13), и выяснить характер изменения энтропии § с изменением р.
8. Д оказать, что максимум энтропии дискретной случайной ве- личины, принимающей п значении, достигается при p t= - I (е = 1, 2, ..., п).
9. Определить энтропию равномерно распределенной на проме
ж утке ( а ; Ь) непрерывной случайной величины | . 140
10. П оказать, что нормальный закон распределения является более неопределенным, чем равномерный закон распределения на (а; Ь) с той ж е дисперсией.
11. Д оказать, что среди всех законов распределения непрерыв
ных случайных величии, принимающих значения из интервала (й; Ь), максимальную энтропию имеет равномерное распределение.
12. Н айти энтропию непрерывной случайной величины, подчи
няющейся показательному закону распределения (см. § 15, задача 5).
13. Вычислить энтропию непрерывной случайной величины £ из задачи 21, § 16.
14. Д искретная случайная величина £ имеет следующую таб
лицу распределения вероятностей:
£ *1. *2 *3
р Pi Pi Рз
Причем 1. Д о казать, что тогда max (pv р г, p a) > 0,5.
§ 21. Цепи Маркова
Цепь Маркова1 представляет собой дальнейшее (по сравнению с рассмотренными в § 10) обобщение схемы Бер
нулли уже на случай зависимых испытаний.
Последовательность испытаний уп , х 2, ... с единственно возможными и попарно несовместными исходами А х, Л 2, ... , А т в каждом называется цепыо Маркова, если вероят
ность любого из этих исходов в очередном испытании одно
значно определяется результатом непосредственно предше
ствующего испытания.
Цепь Маркова полностью определяется следующими па
раметрами: p f ] — вероятность /-го исхода в щ (j — 1, 2,
т
*п\ £ p f ] = 1), p {lf — вероятность /-го исхода в
/ ~ 1
при условии, что в 1 наступил І-й исход (i = 1, 2, . . . » ГП
т\ £ pi? = 1).
/= i
Цепь Маркова называется однородной, если р\? = pij (і, / = 1, 2, . . . , rn), т .е . условные вероятности р\? не вависят от номера испытания п. В дальнейшем рассматри-
1 А. А. М а р к о в (1856— 1922) — выдающийся русский ма
тематик.
ваютея только однородные цепи, которые могут быть за
даны с помощью вектора (р \0), p f \ . . . , р {т) и матрицы P ll Р12 Plm
Pt 1 Pti РЪп
\ Рт\ Рт2 Рит /
Элементы матрицы Ф, очевидно, обладают следующими свойствами:
Цепь Маркова удобно описывать также в следующих терминах. Пусть некоторая физическая система может нахо
диться только в одном и з т различных состояний А г, А г, . . . , А т, причем заданы вероятности рц (І, / = 1, 2, ... , т) того, что система из состояния A t перейдет в состояние А,-. В этом случае нахождение системы в том или ином состоянии зависит лишь от ее предыдущего состояния, т. е. эволюция системы представляет собой однородную цепь Маркова.
Учитывая сказанное, вектор (/?j0), ро0)» • • • > pin) естественно называть вектором начальных вероятностей, числа рц — ве
роятностями переходов, а матрицу — матрицей веро
ятностей переходов цепи Маркова за один шаг.
Отметим, что всякая матрица, удовлетворяющая свой
ствам а) и б), может служить матрицей переходов для не
которой цепи Маркова.
В конкретных задачах, прослеживая эволюцию цепи, вместо явного выписывания матрицы используют граф, вершинами которого являются состояния цепи, а стрелка, идущая из состояния /1,- в состояние А,- с числом рц над ней, показывает, что из состояния А { возможен переход в состояние А , с вероятностью р ц (если pij — 0, то соот
ветствующая стрелка не проводится).
Вероятности Pi/(n) называются вероятностями пере
ходов цепи Маркова за п шагов, т. е. через п шагов про
изойдет переход от состояния Ас к А / (І, / — 1, 2, . . . , т) (Рч(1) = Ра)у а матрица
Ш
а) р ц > 0; б) £ р ц = I (i = 1, 2, . . . , т).
Ри (п) р1г(п) . . . р\т(п) \ р21 (п) р22 (п) . . . рч,,, (п)
называется матрицей вероятностей переходов цепи Мар
кова за п шагов. Справедлива формула
Ф (п) = 9 п, (1)
т. е. матрица переходов за п шагов есть п-я степень матрицы һереходов за один шаг.