創発的計算のためのモデル CCM による問題解決における局所性の制御

(1)

SWoPP ’94 Yasusi Kanada , Real-World Computing Partnership, Tsukuba, Japan 93.7.21

創発的計算のためのモデル CCM による問題解決における局所性の制御

新情報処理開発機構つくば研究センタ金田泰

1 SWoPP ’94 Yasusi Kanada , Real-World Computing Partnership, Tsukuba, Japan 94.7.21

■ はじめに

■ 創発的計算のためのモデル CCM

◆

CCM の概要

◆

CCM にもとづく計算と問題解決

■ CCM にもとづく N クウィーン問題の解法

■ 計算と探索の局所性とその制御法

◆

反応規則のマクロ化 / ミクロ化

◆

アニーリング

■ 各種の方法の比較と結論

2

はじめに

■ 実世界 (の問題) は

◆

複雑である．

•

非線形であり，独立なモジュールへの分割ができない (

“

全体

”

は部分の和をこえたもの)．

◆

環境 (人間，自然) に対してひらかれている．

•

追従性 : 不意の入力に耐える必要がある

— 短期的要求．

•

適応性 : 環境や問題の変化に適応する必要がある

—

長期的要求．

■ 実世界の問題をとくための方法論を確立することが研究目標．

◆

創発的計算が鍵になる (?) — そのためのモデル CCM を提案している．

■ 創発的計算 (Emergent Computation)

◆

局所的・部分的な情報だけで計算し，大域的・全体的な結果 (秩序状態) をうみだす自己組織的な計算．

◆

あたえられた情報からは予測できないような結果をえる計算．

◆

決定論的ではない — バクチ的 (?)

創発的計算のためのモデル CCM — 1

4

3 12

10 4 2 1

5 7 8

3 14

10

4 1 5

7

作業記憶

8

反応原子

(単位データ) 分子

キャスタ (反応規則 + 局所秩序度)

リンク

2 ■ 創発的計算のためのモデルとして CCM を提案している．

◆

CCM はプロダクション・システムにもとづく．

◆ CCM = Chemical Casting Model (化学的キャスティング・モデル)

．

◆ “

化学的

”:

化学反応系とのアナロジーをつかっている．

◆

Casting: 従来のことばでは「プログラミング」or「計算」．

(2)

創発的計算のためのモデル CCM — 2

■ CCM が従来のプロダクション・システムとことなる点

◆

確率的 (ランダム) に動作

—

並列 / 協調動作の可能性がある．

◆

局所秩序度 (局所評価関数) にもとづいて動作

•

ニューラルネットのエネルギー関数や GA の適応度関数は大域評価関数．

•

局所秩序度は負の原子間結合エネルギーのようなもの．

•

秩序度が増加するときだけプロダクション規則が動作．

•

プロダクション規則そのものは基本的に可逆．

•

環境が変化すればあらたな平衡点にむかって動作する．

■ 局所的な情報だけをつかって計算し，大域的な結果をえることをめざす — 創発的計算をめざす．

CCM にもとづく計算

■ CCM による計算はバイアスがかかったランダムな近傍探索とみなせる [SWoPP 93]

◆

反応規則 (プロダクション規則)

近傍の状態 (遷移可能な状態) をきめる — 探索のおおわくをきめる．

◆

局所秩序度 (局所評価関数)

局所的にみて

“

よりよい

”

状態を定義

—

バイアスをきめる．

6

… …

平均秩序度

■ 平均秩序度 = 局所秩序度の平均値

◆

システムは平均秩序度が増加する方向に揺動的 (stochastic) に動作．

•

一時的には減少することもある．

◆

ただし，平均秩序度はシステムの動作にかかわらない．

•

平均秩序度はシステムを外部から観測するときにつかう．

■ 平均秩序度はミクロなレベルでもマクロなレベルでも定義できる．

■ 平均秩序度は開放系でも定義できる

◆

以前つかっていた大域秩序度 (局所秩序度の総和) は閉鎖系でしかつかえない．

7 12

4 3

7 8 1

10

8 2 1

4

2 5

ミクロスコピックな平均秩序度

→ 増加傾向マクロスコピックな平均秩序度

→ 増加傾向

メソスコピックな平均秩序度

→ 増加傾向競合しうる

CCM にもとづく問題解決

■ “よりよい” 状態としてよりおおくの制約がみたされた状態をと

る

— 制約充足がとける．

■ “よりよい” 状態としてより最適化された状態をとる

— 最適化問題の近似解がもとめられる．

8

(3)

例題 : N クウィーン問題

解法の基本

■ 2 個のクウィーンの列を交換する操作をくりかえす．

◆

局所的な操作により解をもとめる．

■ 初期条件

◆

クウィーンはすべて盤面にある．

◆

クウィーンは各行各列にただ 1 個とする (対角線方向には 2 個以上あってもよい)．

9

r 2

c 3

r 3 Q

Q Q

Q

Q Q

c 2

Q

例題 : N クウィーン問題

そのキャスタ (プログラム)

■ 規則 (唯一)

■ 局所秩序度

◆

相互秩序度として (2 個のクウィーンのあいだで) 定義．

10

c1, r1 c2, r2 c3, r3

c3, r2 c2, r3 Queen1:

Queen2:

Queen3:

Queen2:

Queen3:

rule Swap

Queen1:

行列

c1, r1

o(x, y) = 0 if x.column – y.column = x.row – y.row or x.column – y.column = y.row – x.row, 1 otherwise.

N クウィーン問題における平均秩序度の変化例

11

0 20 40 60 80 100

反応回数 0

0.2 0.4 0.6 0.8 1

平均秩序度

■ システム全体 ( N 個のデータ) での平均秩序度を観測した．

計算の局所性とその制御の必要性

■ 計算が局所的であるとは

◆

計算において参照されるデータ数がすくないこと．

■ “局所探索” の局所性とはちがう

◆

局所探索とは探索空間内での移動のしかたが局所的であるということ．

■ 局所性の制御の必要性

◆

この研究では局所的・部分的な情報にもとづく計算をめざしている．

◆

局所的な極限はランダム探索になる

—

局所的であればあるだけよいというわけではない．

•

解に到達するのに膨大な時間がかかる．

•

解に到達したことがわからない．

12

非局所性の度合性

能

局所最適点へのおちいりにくさ

計算速度

. .

.

(4)

計算と探索の局所性を制御する方法

■ 反応規則のマクロ化 / ミクロ化

◆

触媒の加減

◆

反応規則の合成・分解

■ アニーリング

◆

シミュレーテッド・アニーリング (SA)

◆

フラストレーション蓄積法 (FAM)

触媒

反応規則のマクロ化 / ミクロ化 — 1

■ 触媒の定義

◆

反応によって変化しないが，秩序度の計算にだけ参加するデータ (にマッチするパタン)．

■ 触媒をふくむ (ふくまない) 規則の例

◆

1 個の触媒をふくむ規則 :

◆

触媒をふくまない規則 :

◆

2 個の触媒をふくむ規則 :

14

c1, r1 c2, r2 c3, r3

c1, r 2 c3, r3 Queen1:

Queen2:

Queen3:

Queen2:

Queen3:

Queen1: c2, r 1

c4, r4 c4, r4

Queen4: Queen4:

c1, r1 c2, r2

c2, r 1 c1, r 2 Queen1:

Queen2:

Queen3:

c1, r1 c2, r2 c3, r3

c1, r 2 c3, r3 Queen1:

Queen2:

Queen3:

Queen2:

Queen3:

Queen1: c2, r 1

触媒数と平均秩序度との関係

15

0 1 2 3

触媒数

0.6 0.7 0.8 0.9 1

平均秩序度

+-標準偏差平均値

0 20 40 60 80 100

反応数

0.5 0.6 0.7 0.8 0.9 1

平均秩序度

触媒 0 個触媒 1 個触媒 2 個

■ バイアスのつよさは，探索過程における大域秩序度の平均値によって表現できる (?)

■ 触媒数 Nc と平均秩序度との関係

触媒数と計算時間との関係

16

1 2 3 4 5 6

触媒数

0.1 1 10 100

反応回数/10 マッチング回数/100 計算時間*100

1 2 3 4 5 6 触媒数 1

10 100 1000

反応回数/10 マッチング回数/100 計算時間*100

N = 8 N = 12

(5)

反応規則の合成

17

反応規則のマクロ化 / ミクロ化 — 2

■ 反応規則を連続して適用するのと等価な反応規則をつくる．

■ 触媒 0 個の規則を 3 回合成 → 触媒 1 個の規則

c1, r1 c2, r2 c3, r3

Q1:

Q2:

Q3:

Q1, Q2

の列交換 Q2, Q3 の列交換

c2, r1

c1, r2 c3, r3

c2, r1 c3, r2 c1, r3

Q1, Q3 の列交換

c1, r1 c3, r2 c2, r3

触媒 0 個の規則による

Q2, Q3 の列交換

触媒 1 個の規則 (合成された規則) による

State 0 State 1 State 2 State 3

(触媒)

反応規則の動的合成による谷ごえ (トンネリング)

18

合成後の規則による動作平

均秩序度

合成前の規則による仮想的平均秩序度の谷な動作

■ 反応規則を動的に合成して適用する．

■ 反応規則の動的合成の効果

◆

合成しても適用結果はかわらない．

◆

秩序度の谷をこえられる

—

もとの反応規則の連続適用途中の状態での秩序度の和を計算しないため．

シミュレーテッド・アニーリング (SA)

19

アニーリング — 1

■ 局所評価関数が減少するときにも適当な確率で反応させる．

■ 局所評価関数の和の増分と反応規則の適用確率との関係を Sigmoid 関数 (f(x) = 1/(1+ e

^{–x/ T}

)) とする．

◆

ボルツマンマシンにならって

…

■ T ≡ 0 とすると，SA によらない方法とほぼひとしい．

■ もとの方法が非常に近視眼的 — SA だけでは不十分 ? (予想)

-20 -10 0 10 20

局所秩序度の和の増分 0

0.25 0.5 0.75 1 1.25

反応確率

T=0 T=1 T=10

フラストレーション蓄積法 (FAM)

20

アニーリング — 2

■ 制約充足問題だけに適用可能な局所最適点 (解でない山頂) の脱出法 FAM を考案した．

■ FAM の概要

◆

各データ (原子) がフラストレーションという一種のエネルギー (> 0) をもっている．

◆

フラストレーションがおおきいと反応がおこりやすくなる．

◆

反応規則の左辺が実行されたときつかわれたが，まだみたされていない制約があるデータのフラストレーションを増加させる．

◆

反応がおこるとフラストレーションを初期値にもどす．

(6)

フラストレーション蓄積法 (FAM) の効果

■ 効果のイメージ :

■ 彩色問題における効果

◆ N

クウィーン問題やかんたんな彩色問題においては十分な効果がある．

◆

むずかしい彩色問題では効果は不十分 — Johnson らによる DSJC125.5 など．

•

各種の SA で 0.0 〜 0.2 時間でぬりわけられるが CCM/FAM では 17.4 時間かかった．

21

平均秩序

度平均秩序度の山

(平均秩序度が 1 にみたない)

0

1

けずられた山遷移不可

×

遷移可フラストレーション蓄積の効果

各方法の比較 — 結論

22

■ 制約充足は触媒と FAM をくみあわせるのがよい．

■ 最適化は規則の動的合成をつかうのがよい．

制約充足最適化

触媒 ○* ×*

規則の動的合成 × (coloring) ○ (整数計画)

FAM ○ -

SA ? △

* おおくの制約充足問題は競合的なので触媒が有効，

おおくの最適化問題は非競合的なので触媒は無効．

Deleted

■ 実世界システムの開発ﾑとくにソフトウェア開発について

◆

大域的で完全な問題 (仕様) は書けない．

•

実世界に対してひらかれているため．

◆

トップ・ダウン開発，分割統治法はうまくはたらかない．

•

複雑だし，完全な仕様が書けないから．

■ ﾒ実世界の問題ﾓとはなにか? ﾑそれをかんがえるのも研究のうち (?!)

触媒数の変化と局所度・バイアスのつよさ

■ 触媒数を変化させると，規則 (計算) の局所性が変化し，酔歩に対するバイアスのつよさが変化する．

◆

触媒をふくまない規則

•

もっとも局所的．

•

バイアスのつよさも最小 (彩色問題では 0)．

•

計算が局所最大点におちいらない．

◆

触媒をくわえていと規則はしだいに

•

非局所的になる (より多数のデータを参照する)．

•

バイアスはつよくなる．

•

計算が局所最大点におちいりやすくなる．

◆

すべての原子が反応に関与する極限

•

この解探索法はやまのぼり法にちかくなる．

24

(7)

局所最適点をさける方法

■ 反応規則の動的合成による谷ごえ (トンネリング)

■ シミュレーテッド・アニーリング (SA)

■ フラストレーション蓄積法 (FAM)

25

創発的計算のためのモデル CCM による 問題解決における局所性の制御