Вестник КазНУ сер. мат

ТЕОРЕМЫ СЛОЖЕНИЯ ЭНТРОПИИ СЛОЖНЫХ ТЕХНОЛОГИЧЕСКИХ СИСТЕМ

С.Ш. Кажикенова

Карагандинский государственный технический университет, Караганда, Казахстан e-mail: sauleshka555@mail.ru

Алгоритмы вычисления информационной емкости системы, предложенные Шенноном, позволяют выявить соотношение количества детерминированной инфор- мации и количества стохастической информации, а тем самым дать возможность оп- ределить качественную и количественную оценку определенной технологической схемы. При общей характеристике энтропийно-информационного анализа любых объектов широко используется статистическая формула Шеннона для выражения не- определенности любой системы [1]:

∑

=

−

= ^N

i

i

i p

p H

1

log2 , (1) где рi – вероятность обнаружения элемента системы;

∑

=

=

N i

pi 1

1, p_i ≥0, i=1,2,...,N . В качестве вероятности обнаружения главного элемента технологической систе- мы можно принять его содержание в продукте, выраженное в долях единицы. Напри- мер, это содержание извлекаемого химического элемента в продуктах технологиче- ского передела. То же самое относится и к процессу извлечения элемента в тот или иной продукт, так как в этом случае показатель извлечения тождествен вероятности перехода данного элемента из одного состояния системы в другое состояние. Для оценки качества продукта или технологических переделов могут быть в равной сте- пени использованы оба этих показателя – содержание и извлечение. Рассмотрим при- менение информационной формулы Шеннона для двух независимых технологиче- ских систем ^A и ^B. Из независимости ^A и ^B следует, что в сложной технологиче- ской системе они никак не могут повлиять друг на друга и, в частности ^A, не может оказать воздействия на неопределенность ^B, и наоборот. Справедлива

Теорема 1 Неопределенность сложной технологической схемы, состоящей из нескольких независимых систем, равна сумме неопределенностей отдельных систем.

Доказательство. Пусть p

( ) ( )

A₁ ,p A₂ ,...,p

( )

A_N и p

( ) ( )

B₁ ,p B₂ ,...,p

(

B_M

)

вероят- ности обнаружения элементов ^A и ^B в их множествах ^N и ^M соответственно. Слож- ная технологическая система ^A∩B имеет ^{N ⋅M} исходов типа Ai∩Bj, где

N

i=1,2,..., ; j=1,2,...,M . Следовательно, на основании информационной формулы Шеннона:

( )

^N

( ) (

_{i j}

)

i M j

j

i B p A B

A p B

A

H ∩ =−

∑∑

∩ ∩

= =

2 1 1

log (2)

72 Поскольку ^A и ^B – независимы, то независимыми окажутся исходы в любой паре AiBj. Тогда:

(

Ai Bj

)

p

( )

Ai p

( )

Bj

p ∩ = ⋅ . (3) Прологарифмируем обе части уравнения (3):

(

^A_i ^B_j

)

^p

^{( )}

^A_i ^p

( )

^B_j

p _{2 2}

2 log log

log ∩ = + , (4) Полученное выражение подставим в равенство (2). В результате имеем:

( ) ( ) ( )

j

( ^{( )}

i

( )

j

)

N i

M j

i p B p A p B

A p B

A

H _{2 2}

1 1

log

log +

−

=

∩

∑∑

= =

=

= ^N

( ) ( )

_j

^{( )}

_i

i M j

i pB p A

A

p ₂

1 1

∑∑

log

= =

− ^N

( ) ( )

_j

( )

_j

i M j

i pB pB

A

p ₂

1 1

∑∑

log

= =

− =

=

∑ ( ) ( ) ∑ ( )

=

=

− ^M

j

j i

N i

i p A p B

A p

1 2

1

log

∑ ( ) ( ) ∑ ^{( )}

=

=

− ^N

i

i j

M j

j p A p A

B p

1 2

1

log .

В слагаемых произведено изменение порядка суммирования в соответствии со значениями индексов. Далее, по условиям нормировки:

( )

1

1

∑

=

= N i

Ai

p ,

( )

¹

1

∑

=

= M j

Bj

p , (5) с учетом формулы Шеннона (1):

( )

^N

( ) ( )

_i

i

i p A

A p A

H log

1

∑

=

−

= , (6)

( )

^M

( ) ( )

_j

j

j p B

B p B

H log

1

∑

=

−

= . (7) окончательно получим:

(

A B

)

H

( )

A H

( )

B

H ∩ = + . (8) Что и требовалось доказать.

Определим неопределенность сложной технологической схемы ^A∩B в том случае, если системы ^A и ^B не являются независимыми.

Теорема 2Неопределенность сложной технологической схемы ^A∩B в том слу- чае, если ^A и ^B являются зависимыми, равна сумме энтропии первой и второй сис- тем, вычисленную в предположении, что первая система реализована.

Доказательство. Зависимость между системами ^A и ^B приводит к тому, что некоторые пары исходов ^A_i^∩B_j не являются независимыми. Но тогда в равенстве

(6.4) выражение p

(

Ai ∩Bj

)

следует заменять не произведением вероятностей, а, со- гласно понятию условной вероятности на равенство:

(

^A_i ^B_j

)

^p

( )

^A_i ^p_A

( )

^B_j

p ∩ = ⋅ i , (9) где pA

( )

Bj

i – вероятность наступления исхода ^B_j при условии, что имел место ис- ход ^A_i. В данном случае прологарифмировав обе части выражения (9) получим:

(

Ai Bj

)

p

( )

Ai pA

( )

Bj

p 2 2 i

2 log log

log ∩ = + . (10) Подстановка соотношения (10) в (2) дает следующий результат:

( ) ( )

A

( )

j

( ( )

i A

( )

j

)

N i

M j

i p B p A p B

A p B

A

H i 2 2 i

1 1

log

log +

−

=

∩

∑∑

= =

=

= ^N

( )

_A

( )

_j

( )

_i

i M j

i p B p A

A

p i 2

1 1

∑∑

log

= =

− ^N

( )

_A

( )

_{j A}

( )

_j

i M j

i p B p B

A

p i 2 i

1 1

∑∑

log

= =

− =

=

∑ ( ) ( ) ∑ ( )

=

=

− ^M

j

j A i

N i

i p A p B

A

p i

1 2

1

log

∑ ( ) ( ) ∑ ( )

=

=

− ^N

i

i j

A M

j

j

A B p B p A

p i i

1 2

1

log .

В первом слагаемом сомножитель

∑ ( )

= M j

j

A B

p i

1

представляет собой условную ве- роятность системы ^B и удовлетворяет условию:

( )

¹

1 1

=

=

∑

∑

= = M j

j A M

j

j

A B p B

p i i ,

поскольку

∑

= M j

Bj 1

образует достоверное событие.

Условную энтропию технологической системы ^B при условии, что в системе ^A реализован исход ^A_i будем определять соотношением:

( )

^M

( )

_A

( )

_j

j

j A

A B p B p B

H i i 2 i

1

∑

log

=

−

= (11)

Тогда второе слагаемое будет иметь вид:

( )

A H

( )

B H

( )

B

p _{A A}

N i

i ⋅ _i =

∑

=1

. (12)

74где H_A

( )

B –средняя условная энтропия системы ^B при условии, что реализована система ^A.

Окончательно получаем для технологической схемы ^A∩B в том случае, если системы ^A и ^B не являются независимыми:

(

A B

)

H

( )

A H

( )

B

H ∩ = + _A . (13) Что и требовалось доказать.

Полученное выражение представляет собой общее правило нахождения энтро- пии сложной системы. Совершенно очевидно, что выражение (8) является частным случаем (13) при условии независимости систем ^A и ^B.

Условная энтропия технологической системы обладает следующими свойства- ми:

1 Условная энтропия является величиной неотрицательной.

2H_A

( )

B =0 тогда и только тогда, когда любой исход технологической системы A полностью определяет исход системы ^B, то есть:

( ) ( )

...

( )

0

2

1 B =H B = =H B =

HA A AN .

В этом случае:

(

^{A B}

)

^H

( )

^A

H ∩ = . (14) 3 Если системы ^A и ^B независимы, то:

( )

^{B H}

( )

^B

H_A = ,

причем эта величина оказывается наибольшим значением условной энтропии.

Приведенные утверждения можно объединить одним неравенством:

( )

B H

( )

B H_A ≤

≤

0 , (15) что означает, что условная энтропия не превосходит безусловную.

4 Из соотношений (13) и (15) следует, что:

H

(

A∩B

)

≤H

( )

A +H

( )

B , (16)

причем равенство реализуется только в том случае, если системы^A и ^B независимы.

Разность H

( )

B и H_A

( )

B называется информацией технологической схемы отно- сительно технологической системы ^B, содержащейся в системе ^A:

(

^{A B}

)

^H

( )

^{B H}

( )

^B

I ∩ = − _A . (17) Следствием аддитивности энтропии независимых систем оказывается аддитив- ность информации. В данном случае принцип максимума энтропии [2] можно сфор- мулировать следующим образом:

- энтропия технологической схемы максимальна, именно, при равномерном рас- пределении вероятностей;

- всякое отклонение от равномерности приводит к уменьшению энтропии техно- логической схемы:

(

A B

)

H

( )

A H

( ) (

B I A B

)

H ∩ = + − ∩ . (18) Следовательно, на основании формул (15), (16) справедлива оценка:

(

A B

)

H

( )

A H

( )

B N M H_max ∩ ≤ _max + _max ≤log₂ +log₂ .

Для вычисления условной энтропии технологической системы воспользуемся определением условной вероятности события

( ) ( )

( )

A p

B A B p

p_A ∩

= . Тогда условная эн- тропия технологической системы ^B при условии реализации ^A определяется соот- ношением:

( )

⁼⁻

∑ ( ) ( ) ∑ ^{( )}

⁼

=

=

N i

i j

A M

j

j A

A B p B p B p A

H i i

1 2

1

log

( )

( ) ( )

( ) ( )

=

−

=

∑ ∑

=

=

N i

i i

j M i

j i

j

i p A

A p

B A p A

p B A p

1 2

1

log ,

,

( ) ( )

( )

ⁱ _i ^j

M j

j i N

i p A

B A B p

A

p ,

log

, ₂

1 1

∑

∑

= =

− .

Аналогично определяется условная энтропия технологической системы ^A при условии реализации ^B:

( )

⁼⁻

∑ ( ) ( ) ∑ ( )

⁼

=

=

M

i

j i

B N

i

i B

B A p A p A p B

H j j

1 2

1

log

( )

( ) ( )

( ) ( )

⁼

−

=

∑ ∑

=

=

M j

j j

j N i

i j

j

i p B

B p

B A p B

p B A p

1 2

1

log ,

,

( ) ( )

( )

ⁱ _j ^j

M j

j i N

i p B

B A B p

A

p ,

log

, ₂

1 1

∑

∑

= =

− .

Данные расчеты применимы и для технологических схем с большим числом сис- тем. Таким образом, предложенные формулы энтропийно-инфомационного анализа технологических схем позволят осуществить переход от сингулярного приближения информационной энтропии Шеннона к локальной и далее к полной для учета самых различных элементов множества в самоорганизующейся системе. Тем самым уста- новлены предпосылки энтропийно-нформационного анализа технологических схем переработки металлургического сырья с учетом всех ценных компонентов.

СПИСОК ЛИТЕРАТУРЫ

1. Shannon K.E. Mathematical theory of connection // Works on the theory of the in- formation and cybernetics. - M.: SILT, 1963. With. 243-332рр.

2. Hartley R. Transfer of the information / the Theory of the information and its appen- dix. - M.: SILT, 1959. With. 5-35рр.