Teori Dasar Informasi teori sistem

(1)

CHAPTER II

INFORMATION THEORY

PART I : Digital Communication System

Presented By:

(2)

What is Information?

(3)

Informasi



Informasi adalah hasil dari

pengolahan data



Informasi adalah data/fakta yang

sudah diolah menjadi suatu

bentuk yang berarti bagi

(4)

Basic Communication

System

(5)

Early Communication

System

Early Communication System Before 1948

Telegraph (Morse, 1830-an) Telephone (Bell, 1876)

Wireless Telegraph (Marconi, 1887) AM Radio (awal 1900-an)

Single-Sideband Modulation (Carson, 1922) Television (1925 – 1927)

Teletype (1931)

Frequency Modulation (Amstrong, 1936)

Pulse-Code Modulation (PCM) (Reeves, 1937 – 1939) Vocoder (Dudley, 1939)

(6)

Information Theory

(7)

 Pada tahun 1948, Claude Shannon

meletakkan asas Teori Informasi dalam sebuah paper “Teori Matematika Komunikasi” yang diterbitkan pada jurnal Bell System Technical Journal. Teori tersebut menjadi dasar dari seluruh pengembangan telekomunikasi dalam kurun waktu lima dekade terakhir.

 Teori Informasi merupakan cabang

(8)

Teori Informasi Shannon



Secara umum, Teori Informasi

Shannon (Teori Matematis) ini

memandang bahwa komunikasi

sebagai

fenomena

mekanistis,

matematis dan informatif, yaitu



Komunikasi

sebagai

transmisi

(9)



Pemahaman yang baik terhadap

konsep ini merupakan keharusan

bagi setiap SDM Telekomunikasi

pemula.



Buku

tersebut

mempelajari

kontribusi Shannon untuk bidang

komunikasi

modern

(Era

(10)

Syarat Sistem

Komunikasi

Dalam setiap sistem komunikasi

 Sumber Informasi yang

menghasilkan Informasi dalam berbagai bentuk.

 Dan sebuah wadah infomasi/tujuan

(Information Sink) yang menyerap informasi.

 Media komunikasi menghubungkan

(11)

 Maksud dari sistem komunikasi

adalah untuk mengirimkan informasi dari “sumber“ ke “tujuan” tanpa

terjadi kesalahan.

 Namun media komunikasi akan

(12)

Persyaratan paling mendasar dari sistem komunikasi adalah

mengirimkan informasi tanpa adanya kesalahan meskipun

(13)

Konsep Umum Sistem

Komunikasi

Sumber Informasi memproduksi simbol-simbol

berupa karakter/huruf/teks, pidato, video, dsb yang dikirimkan melalui transmisi media oleh Transmitter (TX).

Media komunikasi memperkenalkan noise dan

beberapa kesalahan terjadi pada saat pengiriman data.

Pada sisi penerimaan akhir, Receiver (RX)

melakukan dekode data dan melanjutkannya ke

tujuan informasi (wadah)

Pada slide berikutnya merupakan diagram blok

(14)

Konsep Umum Sistem

Komunikasi

Information Source : Sumber Informasi, yang memproduksi simbol (teks, video, audio, pidato, gambar, dsb).

Transmitter: Mengirim Sinyal

Channel: Kanal sebagai media transmisi dapat menghasilkan noise, jadi error dapat terjadi pada saat data di transmisikan.

(15)

 Information Source memproduksi dua

simbol A dan B,

 Transmitter kemudian mengkodekan

simbol tersebut menjadi aliran bit (bit stream).

 A = 1, B =0.

 Aliran bit yang dikirimkan melalui media.  Sebagai ilustrasi, Noise dapat saja

(16)

Simbol Asli B B A A B A B B

Aliran Bit Sumber/Dikirim 0 0 1 1 0 1 0 0 Aliran Bit Diterima 0 0 1 1 1 1 0 0

 Pada penerima, satu bit diterima dalam

kesalahan. Bagaimana untuk memastikan bahwa data yang diterima dibuat bebas dari kesalahan?

 Shannon menjawabnya dalam Sistem

(17)

Sistem Komunikasi Shannon

(Digital)

 Sistem Komunikasi yang diajukan oleh Shannon TX

(18)

Dalam sistem komunikasi digital, karena efek dari noise/derau, terjadi kesalahan. Akibatnya, 1 dapat menjadi 0 dan 0 mungkin

(19)



Pada diagram tersebut

terdapat dua macam jenis

pengkodean



Source Encoder/Decoder

(20)

 Simbol-simbol kemudian

dimodulasikan dan dikirim melalui

medium.

 Pada sisi penerima, sinyal

termodulasi di demodulasi, dan dilakukan operasi kebalikan dari Channel Encoding dan Source

encoding (channel decoding dan sumber decoding).

 Maka informasi yang disajikan untuk

(21)

Seperti yang diusulkan oleh Shannon, sistem komunikasi

terdiri dari Enkoder Sumber, Enkoder Saluran encoder dan modulator pada akhir transmisi,

dan demodulator, Dekoder Saluran dan Dekoder sumber

(22)

Information Source

Sumber informasi:



Sumber informasi menghasilkan

simbol. Jika sumber informasi,

misalnya, mikrofon, sinyal dalam

bentuk analog. Jika sumber

(23)

Source Encoder

 Source Encoder/Decoder

 Mengkonversi sinyal yang diproduksi

oleh sumber menjadi aliran data.

 Jika sinyal input berupa analog, maka

dapat dikonversi oleh ADC

 Jika sinya input berupa aliran simbol

(24)

Source Encoder

 Enkoder Sumber mengubah sinyal yang

dihasilkan oleh sumber informasi ke dalam aliran data.

 Jika sinyal input analog, dapat dikonversi ke

dalam bentuk digital menggunakan converter ADC.

 Jika input ke encoder sumber merupakan

aliran simbol, dapat dikonversi ke dalam

(25)

 Misalnya, jika sumber menghasilkan

simbol A dan B, A dapat dikodekan sebagai 1 dan B sebagai 0.

 Sumber Teorema pengkodean

Shannon memberitahu kita

(26)

Source Encoding

 Dilakukan untuk mengurangi

penumpukan sinyal (redundancy)

 Terdapat 2 teknik encoding:

 Losseless Encoding (Tidak

Berkurang/Hilang)

▪ _{ZIP, GZ, RAR dsb}

 Lossy Encoding (Berkurang)

(27)

Pengkodean Sumber dilakukan untuk mengurangi redundansi dalam sinyal.

Teknik Pengkodean Sumber dapat dibagi menjadi teknik pengkodean lossless dan teknik pengkodean lossy.

Dalam teknik encoding lossy, beberapa informasi hilang. Contohnya pada

(28)

Lossless Source

Encoding

 Dalam coding lossless, tidak ada

informasi yang hilang. Ketika kita kompres file komputer kita

menggunakan teknik kompresi (misalnya, WinZip), tidak ada kehilangan informasi.

 Teknik coding seperti ini disebut

(29)

Lossy Source Encoding

 Dalam coding lossy, beberapa informasi

hilang saat melakukan coding sumber. Selama kerugian tidak signifikan, kita bisa mentolerir hal itu.

 Ketika gambar diubah menjadi format

JPEG, coding adalah pengkodean lossy karena beberapa informasi hilang.

 Sebagian besar teknik yang digunakan

untuk suara, gambar, dan video coding

(30)

Catatan

Utilitas kompresi yang kita gunakan untuk kompres file data

menggunakan teknik lossless encoding.

Kompresi gambar JPEG adalah teknik lossy karena beberapa informasi

(31)

Channel Encoder

Jika memecahkan kode informasi dengan

benar, bahkan jika kesalahan terjadi pada media

Perlu ditempatkan beberapa bit

tambahan (redundant bits) dalam data sumber yang telah dikodekan

sehingga informasi tambahan

(32)

Channel Encoder



Proses penambahan bit

dilakukan oleh encoder

saluran.



Teorema Channel Coding

(33)

Channel Encoder

Dalam Channel encoding,

redundansi

diperkenalkan

sehingga pada akhir

penerimaan,

bit redundant

dapat digunakan untuk

(34)

Modulator/Demodulator



Modulator

Merupakan proses

transformasi sinyal, sehingga

sinyal dapat ditransimisikan

melalui berbagai media



Demodulator

melakukan

(35)

Channel Decoder



Menganalisa aliran bit yang

diterima dan mendeteksi dan

mengoreksi jika ada kesalahan

menggunakan bit tambahan

(redundant bits) hasil dari

Channel Encoder



Channel Decoder melakukan

(36)

Source Decoder

 Source decoder mengubah aliran bit

ke dalam informasi yang

sebenarnya. Jika konversi Analog ke Digital dilakukan pada encoder

sumber,

 konversi digital ke analog dilakukan

(37)

Information Sink

(38)

(39)

Bagaimana Mengukur

Informasi?



Apakah informasi?



Bagaimana kita mengukur

informasi? Ini adalah

masalah mendasar yang

dapat dijawab oleh

(40)



Kita dapat mengatakan

bahwa kami menerima

beberapa informasi jika ada

"penurunan ketidakpastian."

Dengan kata lain factor

(41)



Misalkan sumber informasi

yang menghasilkan dua simbol

A dan B. sumber telah

mengirim A, B, B, A, dan

sekarang kami menunggu

(42)

 Jika menghasilkan A, ketidakpastian

yang ada dalam masa tunggu

(waiting period) hilang, dan kami mengatakan bahwa "informasi"

yang dihasilkan.

 Perhatikan bahwa kita

menggunakan istilah "informasi" dari sudut pandang teori komunikasi; itu tidak ada yang harus dilakukan

(43)

Entropy & Redundancy

 Entropi dan Redunansi merupakan

konsep dasar yang dikemukakan dalam teori Informasi Shannon ini.

 Kedua konsep ini saling terikat dan

saling berpengaruh seperti hukum sebab-akibat (kausalitas)

 Entropi akan sangat berpengaruh

(44)

Entropy

 Entropi merupakan konsep

keacakan, dimana terdapat suatu

(45)

Redundancy

 Konsep kedua adalah redundancy, yang

merupakan kebalikan dari entropy. dudansi adalah sesuatu yang bisa diramalkan atau diprediksikan (predictable).

 Karena prediktabilitasnya tinggi (high

predictable), maka informasi pun rendah (low information).

 Redundansi apabila dikaitkan dengan

(46)

 Kekurangan-kekurangan dari saluran

(channel) yang mengalami

(47)

 Dengan memandang informasi sebagai

entropy, Shannon mencetuskan ide bahwa

sebuah sumber informasi bersifat probabilistik dengan mengajukan pertanyaan:

jika sebuah sumber informasi memproduksi

pesan-pesan dengan cara memilih simbol-simbol dari himpunan simbol-simbol terhingga, dan probabilitas simbol-simbol yang muncul

(48)

 Shannon menjelaskan hal tersebut

dengan sebuah persamaan yang memaparkan hubungan antara

entropy dan redundancy. Jika sebuah sumber informasi tidak mempunyai banyak pilihan atau memiliki derajat keacakan yang rendah, maka

informasi atau entropy tersebut rendah.

 Redundancy =

(49)

Entropy of The Source

 Shannon mengusulkan formula untuk mengukur informasi.

 Ukuran informasi disebut Entropy of the

Source/Entropi Sumber Informasi.  Jika sumber menghasilkan simbol ke-N,

dan jika semua simbol sama-sama

mungkin terjadi, entropi sumber diberikan oleh:

(50)

 Sebagai contoh, asumsikan bahwa

Source menghasilkan huruf(A sampai Z, sebanyak 27, sebagai

simbol), dan semua simbol-simbol ini akan diproduksi dengan probabilitas yang sama. Dalam kasus seperti itu, entropi adalah



H = log

₂

27

(51)

Sumber informasi tidak dapat

menghasilkan semua simbol dengan probabilitas yang sama.

Misalnya, dalam bahasa Inggris

huruf "E" memiliki frekuensi tertinggi (dan karenanya

probabilitas tertinggi terjadinya), dan huruf-huruf lainnya terjadi

(52)



Secara umum, jika sumber

menghasilkan simbol (i)

dengan probabilitas P (i),

entropi sumber diberikan oleh

H = - ∑ P(i) log

2

P(i) s

(53)

 Jika teks besar dianalisis dan

probabilitas dari semua simbol (atau huruf) yang diperoleh dan diganti

dalam formula, maka entropi adalah

(54)

 Catatan Perhatikan kalimat berikut:

"I do not knw wheter this is undrstandble“

 Terlepas dari fakta bahwa sejumlah

karakter dalam kalimat ini hilang, Anda tetap dapat mengerti teks tersebut. Dengan kata lain, ada

(55)

 Ini disebut pendekatan first-order

approximation untuk perhitungan entropi sumber informasi.

 Dalam karakter alfabet, ada

ketergantungan dari satu huruf pada surat sebelumnya. Misalnya, huruf

(56)

Jika kita mempertimbangkan

probabilitas dua simbol bersama-sama (aa, ab, ac, iklan, .. ba, bb, dan sebagainya), maka hal itu

disebut pendekatan orde kedua.

Jadi, di pendekatan orde kedua, kita

harus mempertimbangkan

(57)

 Entropi orde kedua dari sumber

memproduksi karakter alfabet dapat bekerja untuk menjadi

(58)

Bagaimana Mengukur

Informasi?

 Satuan Terkecil Informasi dinyatakan

dengan Binary Digit (BIT)

 1 Bit Hanya dapat membedakan 2

(59)



Misal:



00  A



01  B



10  C



11  D

(60)

(61)

 BITRATE  Kapasitas Kanal dapat

digambarkan sebagai rata-rata maksimum pada informasi yang bisa dikirim tanpa ada kesalahan, dan untuk maksud transmisi data, mungkin diukur dalam bit perdetik.

 Rata-rata data yang dapat dikirim

pada kanal sebanding dengan bandwidth kanal itu.

(62)

Kapasitas maksimum sebuah kanal komunikasi

C = W LOG₂ (1 + S/N)

Dengan

C : Kapasitas maksimum dalam bps W : Bandwidth

S/N : Perbandingan daya sinyal dan noise

Bila S/N =1000 dan W=3300Hz maka C=32.9 Kbps

Channel Capacity

Formula Shannon [1948] untuk menghitung Kapasitas Kanal:

Kapasitas Informasi [bps] = (Lebar Pita Frekuensi [Hertz])*

(63)

 dB = 10 Log (Signal Power/Noise

Power)

 The value of the channel capacity

obtained using this formula is the theoretical maximum.

 As an example, consider a

voice-grade line for which W = 3100Hz,

(64)

 So, we cannot transmit data at a rate

faster than this value in a voice-grade line.

 An important point to be noted is

(65)

 To increase C, can we increase W?

No, because increasing W increases noise as well, and SNR will be

reduced. To increase C, can we increase SNR? No, that results in

more noise, called intermodulation noise.

 The entropy of information source

and channel capacity are two

(66)

 The bandwidth of the channel,

signal energy, and noise energy are related by the formula C = W

log₂(1 + S/N) bps where C is the

channel capacity, W is the

(67)

Bit Rate (Kapasitas Kanal) : banyaknya informasi yang

dapat dikirimkan melalui suatu saluran komunikasi dalam satu satuan waktu [bit per second, bps]

BW (Bandwidth, Lebar Pita Frekuensi) : spektrum

isyarat yang dapat melewati suatu saluran komunikasi: frekuensi tertinggi – frekuensi terendah [Hertz, getaran per detik, cycles per second, cps]

S/N (Signal to Noise ratio) : menunjukkan kualitas saluran

komunikasi = perbandingan antara daya isyarat yang

(68)

(69)

Teorema “Source

Coding”

Diketahui sebuah channel yang memiliki kapasitas C dan sebuah sumber entropy discrete per second H.

Jika H<=C maka akan ada suatu sistem koding dimana output dari sumbernya dapat ditransmisikan melalui

channel dengan tingkat kegagalan yang sangat rendah. Jika H-C > C maka akan ada kemungkinan

untuk meng-encode pesan sehingga pesan yang ambigu bernilai kurang dari H-C + e dimana e sangat

kecil.

Tidak ada metode yang mengenkode pesan dimana tingkat ke-ambiguitasnya kurang dari H-C.

Diketahui sebuah channel yang memiliki kapasitas C dan sebuah sumber entropy discrete per second H.

Jika H<=C maka akan ada suatu sistem koding dimana output dari sumbernya dapat ditransmisikan melalui

channel dengan tingkat kegagalan yang sangat rendah. Jika H-C > C maka akan ada kemungkinan

untuk meng-encode pesan sehingga pesan yang ambigu bernilai kurang dari H-C + e dimana e sangat

kecil.

(70)

Teorema “Channel

Coding”

 Berhubungan dengan sistem

komunikasi pada channel tanpa noise

Terdapat sebuah sumber informasi yang memiliki entropy H (bits per symbol) dan sebuah channel dengan kapasitas C (bits per transmit) dengan laju rata-rata C/H – e symbol

per second dimana e sangat kecil. Tidak mungkin untuk dapat melakukan transmisi

dengan laju rata-rata lebih dari C/H.

Terdapat sebuah sumber informasi yang memiliki entropy H (bits per symbol) dan sebuah channel dengan kapasitas C (bits per transmit) dengan laju rata-rata C/H – e symbol

per second dimana e sangat kecil. Tidak mungkin untuk dapat melakukan transmisi

(71)

 Ide utama dibalik teorema ini adalah bahwa

jumlah informasi yang mungkin untuk ditransmisikan berdasar pada besarnya entropy atau derajat keacakkan.

 Berdasarkan sifat-sifat statistik dari sumber

informasi, ini memungkinkan untuk dilakukannya pengkodean informasi

 Sehingga memungkinkannya untuk

(72)

References

 [1] Dr. K.V. Prasad,”Principles of Digital

Communication Systems and Computer Networks“, Charles River Media, 2003

 [2] S. Verdu, “Fifty years of shannon theory”, IEEE

Transaction on information theory, vol. 44, no.6, October 1998.

 [3] C.E. Shannon, “A mathematical theory of

communication”, Bell Syst. Tech., J., vol. 27, pp. 379-423, 623-656, July-Ock. 1948.

 [4] H. Nyquist, “Certain factors affecting