Kohonen 자기조직화지도 (SOM) - KOCW

(1)

1

인공지능시스템

(Artificial Intelligence)

(2)

제 3 장

신경회로망 (N EURAL N ETWORK )(3)

비지도학습방법

: Kohonen 자기조직화지도 (SOM)

2

(3)

SOM 알고리즘

 자기조직화란 무엇인가 ?

 SOM 의 자기조직화 예제 1

 SOM 의 자기조직화 예제 2

 자기조직화를 TSP(Traveler Salesman Problem) 에 적 용한 사례

3

(4)

4

핀란드의 코호넨

(T.Kohonen)

교수 그룹에 의해 주도적으로 개발됨

-

비지도

(

자율

)

신경망

(Unsupervised neural network)

-

위상적 순서화 성질

(Topological ordering property) -

데이터 마이닝에서 다차원 자료의 시각화 기법으로 발전

Kohonen Network

• Categorization method

• A neural network technique

• Unsupervised NN

(5)

5

# SOM의 기능 (목표)

- 관찰치가 n인 P-차원 개체들을 입력받아

- 개체들을 m개 노드로 구성된 저차원 지도에 질서를 잡아 나타냄

# SOM의 알고리즘

m개의 노드에 p-차원 노드 가중치 초기화

i번째 입력개체가 들어가서

이것과 가장 가까운 노드 가중치가 이것을 갖음(hit or winner)

노드 가중치 업데이트 정지조건

-노드 가중치

변화가 미미하거나 -시간이 한계를 넘김 을 만족하면stop

0

1

2 3

Kohonen Network

(6)

6 Segment 1

Segment 3 Segment 2

Population

Kohonen Network 예

(7)

7 Figure 1

Screenshot of the demo program (left) and the colours it has classified (right) (red, green, blue  8개 색깔로 mapping하는 것)

(source: http://www.ai-junkie.com/ann/som/som1.html)

Kohonen Network 예

(8)

8 Figure 2

A simple Kohonen network

The network is created from a 2D lattice of 'nodes', each of which is fully connected to the input layer. Figure 2 shows a very small Kohonen network of 4 X 4 nodes

connected to the input layer (shown in green) representing a two dimensional vector.

Each node has a specific topological position (an x, y coordinate in the lattice) and contains a vector of weights of the same dimension as the input vectors. That is to say, if the training data consists of vectors,

V, of n dimensions: V1, V2, V3...Vn

Then each node will contain a corresponding weight vector W, of n dimensions: W1, W2, W3...Wn

The lines connecting the nodes in Figure 2 are only there to represent adjacency and do not signify a connection as normally indicated when discussing a neural network.

There are no lateral connections between nodes within the lattice.

Figure 3

Each cell represents a node in the lattice (40*40)

(9)

9

: Best matching unit (winning node) : Raduis (처음에는 크게 시작함)

• 이웃반경 (Nc)의 크기가 시간이 지남에 따라서 점차 줄어든다

• 결국 BMU와 이웃한 노드들은 비슷하게 adjust 된다

(10)

10

Kohonen 자기조직화 지도

Unsupervised neural network model Self-Organizing Feature Maps (SOM)

-

주어진 입력 패턴에 대하여 정확한 해답을 미리 주지 않고 자기 스스로 학습할 수 있는 능력. 자기조직화 지도라고 함

신경 생리학적인 시스템을 본따서 모델링한 네트워크

Input Layer / Competitive Layer 로 구성

모든 연결은 첫번째 층에서 두번째 층 뱡향으로 연결

The 2nd layer is fully connected.

(11)

11

• Training data: vectors, X – Vectors of length n

(x

_1,1

, x

_1,2

, ..., x

_1,i

,…, x

_1,n

)

(x

_2,1

, x

_2,2

, ..., x

_2,i

,…, x

_2,n

) 

…

(x

_j,1

, x

_j,2

, ..., x

_j,i

,…, x

_j,n

)

…

(x

_p,1

, x

_p,2

, ..., x

_p,i

,…, x

_p,n

)

– Vector components are real numbers

• Outputs

– A vector, Y, of length m : (y

₁

, y

₂

, ..., y

_i

,…, y

_m

)

*

Sometimes m < n, sometimes m > n, sometimes m = n

– Each of the p vectors in the training data is classified as falling in one of m clusters or categories

– That is: Which category does the training vector fall into?

• Generalization

– For a new vector: (x

_j,1

, x

_j,2

, ..., x

_j,i

,…, x

_j,n

)

– Which of the m categories (clusters) does it fall into?

p distinct training vectors

(12)

12

• Two layers of units

– Input : n units (length of training vectors) – Output : m units (number of categories)

Special Works

층내의 뉴런의 연결강도 벡터가 임의의 값으로 초기화 연결강도 벡터와 입력벡터가 0~1로 Normalized 된 값 이용

(13)

13

학습규칙 (Learning Rule(1))

뉴런의 연결강도 조정

)

( old

old

new W X W

W = + α −

조정된 후의 새로운 연결강도

조정되기 이전의 새로운 연결강도 백터

입력패턴의 백터

(14)

14

Kohonen의 학습 규칙

연결강도 벡터와 입력 패턴의 차이를 구한다.

그것의 일정한 비율을 원래의 연결강도 벡터에 더한다. 승자 뉴런 과 이웃 반경 안에 드는 모든 뉴런 등도 유사 조정 훈련의 진행에 따라 이웃 반경은 줄어든다.

- 점점 적은 개수의 뉴런들이 학습

Learning Rule(2)

)

(

^old

old

new

W X W

W = + α −

(15)

15

Kohonen의 학습

코호넨의 학습은 단순히 연결강도 벡터와 입력패턴 벡터의 차이를 구한 다음 그것의 일정한 비율을 원래의 연결강도 벡터에 더하는 것.

c i

c

ci

i N

t r t r

h = ⋅ − − ) ∈

) ( 2

||

exp( ||

)

(

₂

2

α σ

 



∉

∈

−

= + +

c c i

ci i

i i N

N i

t w x

t h t

t w

w 0

)) ( )(

( )

) ( 1 (

Learning Rule(3)

(16)

16

Learning Rule(4)

Kohonen 의 학습

최종적으로 승자뉴런만의 그것의 연결강도 조정 이런 과정들이 끝나면 다른 입력벡터가 들어 온다

.

위의 과정을 반복

강조되어야 할 Issue

연결 강도 벡터와 입력벡터의 정규화 네트워크 크기

(17)

17

(18)

18

(19)

19

EX: What are the Euclidean Distances Between the

Data Samples?

(20)

20

EX(continued)

Euclidean Distances Between Data Samples

(21)

21

(22)

22

(23)

23

(24)

24

(25)

25

(26)

26

(27)

27

(28)

28

(29)

29

(30)

30

(31)

31

2차원 지도의 자기 조직화 지도

네트워크의 초기 연결강도 경쟁층에서 인접한 연결강도

(a) (b)

(32)

32

2차원 지도의 자기 조직화 과정

네트워크의 처음 연결강도 백터

1000

번의 훈련을 거친 연결강도

(a) (b)

(33)

33

2차원 지도의 자기 조직화 과정

6000

번의 훈련을 거친 연결강도

20000

번의 훈련을 거친 최종의 연결강도

(a) (b)

(34)

34

2차원 지도의 자기 조직화 과정

주어진 입력 패턴에 대한 훈련네트워크의 반응

(35)

35 This colour information

can then be plotted onto a map of the world

This makes it very easy for us to understand the poverty data

Better quality of life Health, nutrition, educational service…data입력

(distance matrix = u-matrix)

node

(36)

코호넨 네트워크의 장점

 구조상 수행이 상당히 빠른 모델

 여러 단계의 피드백이 아닌 단 하나의 전방 패스 (feedforward flow) 를 사용

 잠재적으로 실시간 학습 처리를 할 수 있는 모델

 연속적인 학습이 가능

 입력데이터의 통계적 분포가 시간에 따라 변하면 코호넨 네트워크 는 자동적으로 이런 변화에 적응

 자기조직화를 통한 정확한 통계적 모델

 인간의 두뇌 작용 고찰에 매우 유용한 모델

36