Entropi S, yang diperkenalkan pada Bab 3 sebagai fungsi keadaan dalam hubungan dengan hukum kedua termodinamika, memainkan peran khusus dalam mekanika statistik. Berbeda dengan energi dalam U, yang keberadaannya merupakan perpanjangan, meski tidak sepele, konsep energi dalam mekanika, entropi secara intrinsik bersifat statistik dan tidak memiliki rekan dalam mekanik. Dalam termodinamika, ini adalah variabel konjugasi yang absolut suhu, yang juga tidak memiliki padanan dalam mekanik. Namun demikian, entropi, dikenal sejak zaman Rudolf Clausius sekitar tahun 1854, berakar pada teori informasi. Hubungan ini telah dihargai sejak lama tetapi tidak dihitung. Dalam surat kepada Irving Langmuir, 5 Agustus 1930, Gilbert Norton Lewis menulis [47, hal. 400]:
Tidak mudah bagi seseorang untuk dibesarkan dalam cara termodinamika klasik yang akan datang sekitar ke gagasan bahwa perolehan entropi pada akhirnya tidak lebih dan tidak kurang dari kerugian informasi.
Kuantifikasi informasi dalam konteks teori komunikasi dikembangkan agak kemudian (1948) oleh Claude Shannon [48, 49]. Selanjutnya, teori komunikasi Shannon diberikan dasar yang kuat dalam teori probabilitas oleh A.I. Khinchin [50].
15.1 Entropi sebagai Ukuran Gangguan
Untuk memahami dasar fisik dari entropi, sering dinyatakan bahwa entropi adalah ukuran kekacauan dalam suatu sistem, meskipun konsep ini kadang-kadang menjadi keberatan di dasar bahwa pengertian umum tentang gangguan bisa tidak setuju. Namun demikian, informasi Shannon fungsi, yang akan kita wakili dengan simbol D dan rujuk sebagai fungsi gangguan, memberikan definisi informasi yang tepat secara matematis, kebalikannya adalah ketidakteraturan. Fungsi gangguan ini sesuai sepenuhnya dengan entropi mekanika statistik, untuk semua ansambelnya, kecuali nilai konstanta perkalian yang sederhana menyumbang unit yang kompatibel dengan yang dipilih untuk energi dan suhu. Selain itu, fungsi D memainkan peran yang sama (kecuali untuk tanda berlawanan) sebagai dinamik fungsi H (t) (juga dilambangkan dengan E (t) dalam tulisan Boltzmann) yang masuk ke dalam Eta Boltzmann teorema [51].
15.1.1 Fungsi Gangguan
Kami menganggap satu set peristiwa saling eksklusif Ai untuk i = 1, 2, ..., N yang memiliki masing-masing probabilitas pi. Eksklusivitas timbal balik berarti bahwa hanya satu di antaranya yang dapat terjadi untuk uji coba tertentu. Khinchin menyebutnya sebagai "skema terbatas". Kami memperkenalkan fungsi gangguan
D{pi} ≡ D(p1, p2, ... , pN ) (15.1)
yang hanya bergantung pada set probabilitas {pi} dan memiliki tambahan berikut properti:
1. D {pi} mengambil nilai minimumnya, nol, jika salah satu pi sama dengan satu dan semua yang lainnya nol. Ini masuk akal karena hasil dari sebuah pengadilan sudah pasti, jadi ada informasi yang lengkap dan karenanya tidak ada gangguan.
191
2. D {pi} mengambil nilai maksimumnya J (N) ketika semua probabilitasnya sama, yaitu, pi = 1 / N untuk semua i. Hal ini wajar karena hasil uji coba pun bisa sama baiknya menghasilkan peristiwa yang mungkin terjadi, sehingga sesedikit mungkin yang diketahui tentang hasilnya.Secara khusus :
J(N):= D(1/N, 1/N, ... , 1/N) (15.2)
3. J (N) seharusnya merupakan fungsi N yang meningkat secara monoton karena ukuran ketidakteraturan (kurangnya informasi) harus meningkat jika ada kemungkinan hasil yang lebih besar.
4. Ukuran D harus independen dari cara apa pun yang digunakan untuk mengelompokkan peristiwa dan gangguan pengelompokan ditambahkan ke gangguan masing-masing berbobot dari batch. Jadi jika ada batch B (harus B ≤ N) diberi label oleh indeks j dengan masing-masing batch yang memiliki probabilitas qj, lalu
(15.3)
Di sini, notasi pi ⊂ qj berarti pi milik batch qj dalam hal ini qj = pi.Oleh karena itu mengikuti
pi / qj = 1, jadi pi / qj adalah probabilitas Ai dalam batch j. Misalnya, untuk N = 5, pengelompokan tersebut mungkin q1 = p1 + p2 dan q2 = p3 + p4 + p5, jadi p1 / q1 = p1 / (p1 + p2), p2 / q1 = p2 / (p1 + p2), dll.
Dalam kondisi ini, kami akan melanjutkan untuk menunjukkan bahwa fungsi gangguan tersebut:
dimana k adalah konstanta positif. Untuk bukti yang kuat bahwa hasil ini unik asalkan D {pi} kontinu sehubungan dengan semua argumennya, lihat Khinchin [50, hal. 9].
Kami pertama kali mempertimbangkan kasus khusus Persamaan. (15.3) dimana semua pi = 1 / (BN) dimana B dan N adalah bilangan bulat, jadi D {pi} = J (BN). Kami membagi menjadi batch B, masing-masing dengan N elemen, jadi qj = (1 / B) dan pi / qj = 1 / N. Jadi Persamaan. (15.3) menjadi :
(15.5)
Jadi,
(15.6)
Kami membedakan Persamaan. (15.6) sebagian berkenaan dengan B dan kemudian set B = 1 pada hasil memperoleh :
NJ (N) = J (1) ≡ k = konstan (15.7)
di mana bilangan prima menunjukkan turunan dari suatu fungsi sehubungan dengan argumennya. Itu solusi untuk persamaan diferensial ini, tunduk pada J (1) = 0 yang mengikuti dari kondisi (1), adalah :
J (N) = k ln N (15.8)
Berbekal bentuk fungsional Persamaan. (15.8), kita kembali ke Persamaan. (15.3) dengan pi = 1 / N untuk semua i tetapi dengan kumpulan sembarang yang memiliki probabilitas qj, dalam hal ini menjadi:
(15.9)
Atau,
192
Setelah pembatalan istilah k ln N, Persamaan. (15.10) menjadi
(15.11)
dalam perjanjian dengan Persamaan. (15.4).
Dari Persamaan. (15.11), kondisi (2) dapat ditunjukkan dengan mengatur hasil parsial diferensiasi sehubungan dengan qi sama dengan nol, tunduk pada batasan 亿 = 1, yang mudah ditangani dengan menggunakan pengali Lagrange λ, yaitu ∂ / ∂qi [D {qj} – λ 亿 ] = 0. Rincian diserahkan kepada pembaca untuk menunjukkan bahwa semua qi akan sama.
Karena logaritma ke basis apa pun cukup proporsional dengan basis lainnya, maka itu adalah kebiasaan dalam teori informasi untuk menggunakan logaritma ke basis dua dan kemudian untuk mengatur konstanta keseluruhan sama dengan satu, menghasilkan fungsi
(15.12)
dalam hal ini satuan H2 dikenal sebagai bit. Untuk 128 karakter ASCII, maksimal nilai H2 akan menjadi J (128) = log2 128 = 7 bit.
Untuk mendapatkan fungsi entropi dari mekanika statistik, seseorang mempertahankan logaritma natural tetapi memilih k sebagai konstanta Boltzmann kB = 1,38065 × 10−23 J K − 1. Jadi entropi :
(15.13)
di mana pj adalah probabilitas dari keadaan mikro kuantum dari sistem yang dikenakan kendala ansambel yang sedang dipertimbangkan. Misalnya untuk mikrokanonik ensembel untuk dipertimbangkan dalam Bab 16, orang menganggap sistem terisolasi telah dikenal energi E dan membuat asumsi bahwa semua keadaan mikro kuantum stasioner yang kompatibel, angka mana yang kemungkinannya sama. Maka pj = 1 / untuk semua j, jadi
(15.14)
Untuk ansambel kanonik (lihat Bab 19), orang menemukan bahwa setiap pj sebanding dengannya Faktor Boltzmann, yang menghasilkan S = (U - F) / T, persamaan termodinamika yang valid. Di Bab 22, kami memeriksa secara rinci hubungan antara gangguan fungsi D dan entropi S untuk setiap ansambel, dengan memperhatikan batasan ansambel itu.
Contoh Soal 15.1. Misalkan Persamaan itu. (15.13) memberikan entropi dua sistem, (1) dan
(2), jadi
(15.15)
dimana pi (1) adalah probabilitas keadaan i untuk sistem (1) dan pj (2) adalah probabilitas keadaan j untuk sistem (2). Jika kedua sistem ini digabungkan membentuk suatu sistem komposit yang berstatus ij dengan probabilitas Pij, entropi dari sistem komposit akan menjadi
(15.16)
Jika subsistem (1) dan (2) berinteraksi sangat lemah, tunjukkan bahwa entropi adalah aditif, S = S(1)+ S(2).
Solusi 15.1. Jika sistem berinteraksi cukup lemah sehingga tidak bergantung secara statistik, maka Pij =
p(1)p(2)
193
Di mana kami telah menggunakan normalisasi saya (1)= 1 dan (2)= 1.
Contoh Soal 15.2. Misalkan Persamaan. (15.15) dan (15.16) berlaku tetapi sistem berinteraksi seperti
itu bahwa mereka tidak lagi independen secara statistik, jadi ada korelasi dan Pij ≠ pi(1)pj(2).Tunjukkan bahwa S < S(1)+ S(2).
Solusi 15.2. Kita bisa menggunakan hubungan umum
(15.18)
Kita punya
(15.19)
Dua suku kedua di sebelah kanan dapat diubah menjadi penjumlahan ganda, jadi
(15.20)
Jadi,
(15.21)
Namun, pertidaksamaan ln x ≤ (x - 1) berlaku untuk semua x positif dengan persamaan hanya untuk x = 1. Ini benar karena x = 1 juga merupakan titik singgung dengan kemiringan 1 garis y = 1 - x dan kurva y = ln x, tetapi di tempat lain kemiringan ln x, yaitu 1 / x, kurang dari 1 untuk x> 0 dan lebih besar dari 1 untuk x <0. Oleh karena itu :
(15.22)
dengan persamaan hanya berlaku untuk kasus yang tidak berkorelasi Pij = pi (1) pj (2) . Kami melihat korelasi itu mengurangi gangguan tersebut, dan oleh karena itu menyebabkan entropi S yang lebih kecil dari sistem komposit.
15.2 Teorema Boltzmann Eta
Pada tahun 1872, Ludwig Boltzmann (1838-1906), salah satu pelopor mekanika statistik, terbukti sebuah teorema penting, yang dikenal sebagai teorema Eta, yang berkaitan dengan dinamika sebuah gas ideal bola keras saat mendekati kesetimbangan melalui tumbukan elastis [51]. Perlakuannya, tentu saja, klasik karena mekanika kuantum baru muncul sekitar tahun 1925. Oleh karena itu Boltzmann menggambarkan gas homogen dalam istilah distribusi fungsi f (v, t) sedemikian rupa
(15.23)
adalah jumlah bola keras per satuan volume ruang aktual yang memiliki lokasi kecepatan dalam elemen volume d3v dalam ruang kecepatan yang berpusat pada kecepatan v.
15.2.1 Persamaan Boltzmann
Boltzmann melanjutkan untuk menurunkan persamaan diferensial, yang sekarang dikenal sebagai Boltzmann persamaan, untuk menggambarkan waktu evolusi gas saat mendekati kesetimbangan. Dia mengasumsikan bahwa hanya tabrakan biner yang terjadi dan bahwa fungsi distribusi probabilitas untuk pasangan diberikan oleh f (v1, v2, t) = f (v1, t) f (v2, t) yang didasarkan pada asumsi "Kekacauan molekuler", yang akan kita diskusikan nanti. Dia kemudian membuat persamaan keseimbangan menurut yang