Dokumen Tentang TEORI INFORMASI

TEORI INFORMASI

Definisi

Bapak Teori Informasi

Claude E Shannon

:

Simbol (Sⁱ) informasi

������ : ���

Contoh soal 1

Sebuah sumber informasi DMS memiliki symbol dengan masing-masing probabilitasnya

Tentukan kandungan informasi untuk masing-masing sumber informasinya :

Solusi

Entropy

Contoh soal 2

Sebuah sumber informasi DMS memiliki symbol dengan masing-masing probabilitasnya

Tentukan entropy untuk masing-masing sumber informasinya :

Solusi :

Contoh 3

Tentukan entropi untuk masing-masing dari sumber informasi :

Pengkodean Sumber ( Source Coding )

• Merupakan proses konversi informasi DMS ke bentuk binary sequence (deret binary)

• Perangkatnya disebut “Source Encoder”.

���� ������ ������������ ������

Pengkodean Huffman

(Huffman Coding)

• Source coding ini adalah salah satu kode yang optimum dan mempunyai efisiensi yang tinggi

• Prosedurnya:

1. Urutkan simbol berdasarkan probabilitasnya dari terbesar ke terkecil 2. Jumlahkan probabilitas 2 buah simbol dari probabilitas terkecil dan urutkan kembali probabilitasnya mulai yang terbesar

3. Beri tanda bit “0” untuk probabilitas yang lebih kecil dan tanda bit “1”

untuk probabilitas yang lebih besar

4. Ulangi langkah di atas sampai jumlah probabilitasnya = 1

Contoh soal

Tentukan keluaran Source Coding dengan prosedur

Huffman untuk keluaran DMS sebanyak 6 simbol dengan peluangnya 0,05; 0,06; 0,10; 0,19; 0,25; 0,35 !

Solusi:

Contoh soal

Diketahui simbol-simbol keluaran DMS sebagai berikut:

Dengan menggunakan prosedur Huffman,tentukan simbol-simbol (codeword) output Source Coding !

Discrete Memoryless Channel (DMC)

• Merupakan pemodelan kanal secara statistik dari DMS

• Kanal disebut ‘Discrete’ karena sumber simbol yang dikirimkan dan output kanal adalah diskrit dan

ukurannya terbatas

• Pemodelan input : X = [x⁰, x¹, ………. , x^J-1]

• Pemodelan output : Y = [y⁰, y¹, ………. , y^K-1]

Model matrik kanal DMC :

Kasus: Binary Simetric Channel (BSC)

• Pada kasus ini kanal mempunyai 2 input simbol: x1=0 dan x2=1 X

• Mempunyai 2 output simbol: y1=0 dan y2=1 Y

• Probabilitas error dinyatakan p, diagram probabilitas transisinya sbb:

������� ������������ �������� ���

Soal latihan

Solusi:

�[�|� ]=

[

^{00,2,9 0,10,8}

]

�¿

�¿ =

�(�₀) �(�₁)

�¿ =

[

^{��((��01∨∨��00)) ��((��00∨∨��11))}

]

Selesai…