乱数と確率論 ∗
杉 田 洋
1
乱数という概念は1960年代にコルモゴロフ,チャイティン,ソロモノフらによっ て導入された.しかし確率論においてはほとんど普及していない.まれにこれにつ いて紹介している本もあるが内容についての言及は見られない.その理由は明白で ある.確率論の理論と応用において乱数という概念はまったく必要ないからである.
では,乱数について勉強することは確率論の勉強に何か良いことがあるのだろか.
これは私の心にずっと長く引っ掛かっていた問であった.コルモゴロフほどの人物 が大きな情熱を込めて作り上げたランダム性に関する理論が確率論に影響を与えな いはずがない,そこには何かがあるはずだと,思い続けてきたのである.
その問の答えが,最近,私には明確に見えてきた.確かに,乱数の理論は確率論の 理論と応用において必要ない.しかし,私の理解では,それはランダム性を調べる 数学体系として確率論が進むべき方向を指し示している.そして驚いたことに,確 率論は,乱数の理論の生まれるはるか以前から,その進むべき道を歩んで来ていた ことに気付いた. . ..
2
コルモゴロフの確率論(以下,単に確率論という)はランダムな現象を解析する数 学的理論と手段を提供するけれども,「ランダムとは何か」という問には何も答えな い,とよく言われる.まず,このことの意味するところを説明してみよう.
確率論ではランダムな対象は確率変数という形式で表現される.これは何がしか の確率空間 (Ω,F, P) で定義された可測関数 X : Ω → R のことである.ここで,
ω ∈Ωが確率測度P に従ってランダムに選ばれる状況を思い浮かべて,それに伴っ て X(ω)がランダムな値を持つと解釈するのが習わしである.しかしながら,確率 論では X の個々の値X(ω)に注目することはなく,常にX を関数として扱う.そ のため ω が Ω より選ばれる手順は確率論の研究の対象外である.ランダム性は ω が Ωから選ばれる手順にこそ由来する.だから確率論は「ランダムとは何か」とい う問には何も答えない,と言われるのである.
∗2009.7.24-25「さよなら箱崎」講演要旨(改訂版)
コルモゴロフはこのことを反省し,確率論を真の「ランダムな現象を解析する数 学」として完成するために「 ω が Ω から選ばれる手順」について考察することに した.そして,それがランダムであるとはどういうことか,を明らかにした.
3
Ωが有限集合の場合を考えよう.元の個数#Ωだけが本質的なので,どのような 有限集合でも構わないのであるが,あとの都合を考慮して{0,1}L =: ΩL について 考える(L∈N).Lが小さいときは,ΩL からω をあなたが選ぶことは簡単である.
たとえば L= 10 なら(0,1,1,0,1,1,1,0,1,0)というふうに0と 1からなる長さ10 の列を書き下せばよい.この場合,どの ω∈Ω10 を選ぶにしてもその手間は変わら ない.しかし LÀ1のときは,選ぶのにあまり手間の掛からないω ∈ΩL と大変手 間の掛かる ω が現れる.
たとえばL= 108 としてみよう.あなたは一つのω ∈Ω108 を選ぶ.しかし,0と 1 からなる長さ108 の列を書き下すことはあまりにも手間が掛かり過ぎて事実上不 可能である.1こういう仕事はコンピュータでやらせるに限る.あなたはコンピュー タを用いて0 と 1 からなる長さ 108 の列を書き下すこと(印字すること)を考える だろう.そのためには,あなたはコンピュータプログラムを書かなければならない.
そのようなプログラムは,たとえば
ω = (1,0,1,0,1,0, . . . ,1,0)∈Ω108
というふうに 1,0のパターンを 5×107 回繰り返すような ω なら容易に書くことが できる.あるいは,円周率 π の2進小数展開において小数点以下108桁までの 0と 1 からなる列(Ω108 の元)の場合も,それを印字するプログラムを(さっきよりずっ と長いプログラムだが)何とか書くことができるだろう.
コルモゴロフはこうした考察の中で非常に重要なことを発見した.すなわち,Ω108 の元の中には,コンピュータプログラムを援用しても,とても書き下すことなどで きないものが数多く存在することを.
各ω ∈Ω108 の元を書き下すプログラムを一つ選んでpω としよう.明らかにω 6=ω0 ならばpω 6=pω0 である.プログラムは有限の文字列で構成され,それはコンピュー タの内部では0と1からなる一つの列(以下,{0,1}-列と呼ぶ)によって表される.す なわち pω もまた一つの{0,1}-列と考えてよい.このとき,pω ∈Ωl であるようなω の総数は,そのようなpω の個数に等しいから,それは#Ωl = 2l を超えない.この ことから,さらにpω ∈ ∪1≤l≤MΩl となるような ω∈Ω108 の総数は
#Ω1+ #Ω2· · ·+ #ΩM = 21 + 22+· · ·+ 2M = 2M+1−1
を超えない.逆に言えば,pω が長さM + 1 以上の{0,1}-列となるような ω ∈Ω108 の総数は 2108−2M+1+ 1 以上である.もっと具体的に言えば,pω の長さが 108−10
11秒間に1文字ずつ休まず書き続けて108の文字を書くにはおよそ3年2ヶ月掛かる.
以上であるようなω の総数は少なくとも2108 −2108−9+ 1以上であり,これは全体 108 の約 1−2−9 = 511/512 を占める.一方,任意の ω ∈ Ω108 は,「ω の0と1の 並びをそのまま書き下す」というプログラムによって確かに書き下される.以上か ら,圧倒的多数の ω ∈ Ω は,それを書き下すためのプログラムがほぼ 108 の長さ
の{0,1}-列となることが分かる.そのようなω のことをコルモゴロフはランダムな
{0,1}-列(乱数)と呼んだ.
短いプログラムで書き下せるようなω は何らかの規則性のゆえにそうできる.と いうか,その短いプログラム自身がωの規則性を表しているとも言える.この考え に従えば,乱数とは規則性のない{0,1}-列である,と言えよう.一方,コンピュータ 用いても,乱数は誰も事実上書き下すことができないという性質を持つことは,乱 数は人為的には得ることができない,とも考えることができる.
このように乱数という概念は,私たちが直観的に察知しているランダム性をよく 表している.
4
乱数と確率論の関係を述べよう.長さ L の硬貨投げを記述する確率空間 (ΩL,2ΩL, PL), PL :=一様確率測度
を考える.この節を通して LÀ1 とする.
前節で述べたように,ΩL の元のうち圧倒的多数は乱数である.従って,もし ω
が ΩL からPLに従って(同様に確からしく)選出されるとすると,高い確率で乱数
が選ばれるであろう.2人為的には乱数を選ぶことはできないのであるから,PL は ω ∈ΩL の選択が人為的でないことを暗黙裡に仮定しているのである.
コルモゴロフによればランダム性とは要するに乱数の性質のことである.だから ランダム性について調べることは乱数の性質を調べることと同義である.では,乱 数の性質とはどんなもので,どのような方法で調べることができるのであろうか.
じつは乱数は「それが乱数であること」すら原理的に示すことができない.3従っ て個々の乱数についてはその性質を調べることはまったく不可能なのである.しか し驚くべきことに,集団としての乱数の性質ならば調べることができる.
乱数の集団は ΩL の元の圧倒的大部分を占める.だから,ΩL の圧倒的大部分の 集団がどのような性質を持つかを調べればよい.これは確率論における極限定理が 目指すところに外ならない.たとえば大数の弱法則(チェビシェフの不等式)によれ ば,Ω108 の元ω = (ω1, ω2, . . . , ω108) の全体の少なくとも 39999/40000 は
¯¯¯¯ω1+ω2 +· · ·+ω108
108 − 1
2
¯¯¯¯≤ 1
100 (1)
2そして,非常に小さい確率でランダムでない(規則的な)ωが選ばれることがある.
3逆に乱数でないものは「乱数でないこと」を明らかにすることができる場合がある.ω = (1,0,1,0, . . . ,1,0)など.
を満たすようなω である.一方,Ω108 の元のほとんどは乱数であるから,乱数全体 のほぼ 39999/40000は(1)という性質—すなわち,ω1, ω2, . . . , ω108 のうち,1の現 れる相対頻度は 0.49から0.51である —を持つことが分かる.4
様々の極限定理はすべてつまるところ乱数の性質を述べているわけであり,逆に 極限定理こそがランダム性について具体的に調べることのできるおそらく唯一の数 学的手段であろう.それゆえ,現代確率論においては極限定理の研究がきわめて重 要な位置を占める.真に驚くべきことは,このことが乱数の概念が発見されるはる か以前から営まれてきたことである!
参考文献
[1] G.J. Chaitin, Algorithmic information theory,IBM J. Res. Develop.,21(1977), 350–359.
[2] A.N. Kolmogorov, On tables of random numbers, Sankhy¯a, Indian J. Statist.
Ser. A 25 (1963) 369–376.
[3] A.N. Kolmogorov, Three approaches to the definition of the concept “quantity of information”. (Russian) Problemy Peredaˇci Informacii 1 (1965) vyp. 1, 3–11.
[4] A.N. Kolmogorov, Logical basis for information theory and probability theory, IEEE Trans. on Inform. Theo., vol.IT-14-5, Sept. (1968), 662–664.
[5] A.N. Kolmogorov, Selected works of A. N. Kolmogorov. Vol. III. Information theory and the theory of algorithms, Edited by A. N. Shiryayev [A. N. Shiryaev].
Translated from the 1987 Russian original by A. B. Sossinsky. Mathematics and its Applications (Soviet Series), 27. Kluwer Academic Publishers Group, Dordrecht, (1993) xxvi+275 pp.
[6] M. Li and P. Vit´anyi, An introduction to Kolmogorov complexity and its ap- plications, 2nd ed. Graduate Texts in Computer Science. Springer-Verlag, New York, (1997).
[7] P. Martin-L¨of, The definition of random sequences, Inform. Control,7 (1966), 602–619.
[8] 杉田洋,「モンテカルロ法,乱数,および疑似乱数」,
http://homepage.mac.com/hiroshi sugita/mcm.html
[9] 高橋正子,計算論(計算可能性とラムダ計算),第1章,近代科学社,(1991).
4乱数でない ω で性質(1) を持つものも存在する.たとえばω= (1,0,1,0,1,0, . . . ,1,0) のよう に.
[10] A. Turing, On Computable Numbers, With an Application to the Entschei- dungsproblem, Proceedings of the London Mathematical Society, Series 2, Volume 42 (1936). Eprint. Reprinted in The Undecidable pp.115–154.
http://www.abelard.org/turpap2/tp2-ie.asp
[11] A.K. Zvonkin and L.A. Levin, The complexity of finite objects and the basing of the concepts of information and randomness on the theory of algorithms, (Rus- sian), Uspehi Mat. Nauk 25 (1970), no. 6(156), 85–127, (English translation by S.M.Rudolfer) Russian Math. Surveys 25-6 (1970), 83–124.