저작자표시-비영리-변경금지 2.0 대한민국 이용자는 ... - S-Space

저작자표시-비영리-변경금지 2.0 대한민국 이용자는 아래의 조건을 따르는 경우에 한하여 자유롭게

l 이 저작물을 복제, 배포, 전송, 전시, 공연 및 방송할 수 있습니다. 다음과 같은 조건을 따라야 합니다:

l 귀하는, 이 저작물의 재이용이나 배포의 경우, 이 저작물에 적용된 이용허락조건 을 명확하게 나타내어야 합니다.

l 저작권자로부터 별도의 허가를 받으면 이러한 조건들은 적용되지 않습니다.

저작권법에 따른 이용자의 권리는 위의 내용에 의하여 영향을 받지 않습니다. 이것은 이용허락규약(Legal Code)을 이해하기 쉽게 요약한 것입니다.

Disclaimer

저작자표시. 귀하는 원저작자를 표시하여야 합니다.

비영리. 귀하는 이 저작물을 영리 목적으로 이용할 수 없습니다.

변경금지. 귀하는 이 저작물을 개작, 변형 또는 가공할 수 없습니다.

이학석사학위논문

자기조직 분자 하이퍼네트워크를 이용한 패턴 인식

Pa t t e r n Cl a s s i f i c a t i on Us i ngMol ec ul a r Hype r ne t wor k Bas e d on Se l f - Or ga ni z a t i on

2 0 1 5 년 2 월

서울대학교 대학원

자연과학대학 뇌과학협동과정

류 제 환

자기조직 분자 하이퍼네트워크를 이용한 패턴 인식

Pa t t e r n Cl a s s i f i c a t i on Us i ngMol ec ul a r Hype r ne t wor k Bas e d on Se l f - Or ga ni z a t i on

지도교수 장 병 탁

이 논문을 이학석사 학위논문으로 제출함

2 0 1 4 년 1 0 월

서울대학교 대학원

자연과학대학 뇌과학협동과정

류 제 환

류 제 환의 석사학위논문을 인준함 2 0 1 4 년 1 2 월

위 원 장 이 춘 길 ( 인 )

부 위 원 장 장 병 탁 ( 인 )

위 원 최 석 우 ( 인 )

초 록

DNA 컴퓨팅은 기존의 실리콘 기반의 컴퓨터와는 달리 DNA 분자를 사용하는 계산학이며, 분자 컴퓨팅의 한 분야로 실리콘 기반의 컴퓨터와 는 다른 계산적 장점을 가지기에 새로운 컴퓨팅 기술로 주목받고 있다.

특히 DNA 컴퓨팅은 자체적으로 온라인 학습을 구현하기 좋은 컴퓨팅 기 술이며 이는 자기조직성에 기인한다. 우리의 뇌도 이러한 자기조직성을 가지고 있기 때문에 DNA 컴퓨팅은 뇌의 컴퓨팅 모델을 모방하는 수단으 로도 기대 받고 있다. 하지만 DNA 컴퓨팅은 아직 개발 중인 학문이기에 고수준의 학습 문제에는 적용된 바가 없다. 이는 기존의 기계학습 모델들 이 실리콘 기반 컴퓨터에 맞춰져 있어 DNA 컴퓨팅으로 구현이 어렵다는 이유 때문이기도 하다. 하이퍼네트워크 모델은 기존의 기계학습 방법들과 는 달리 DNA 컴퓨팅의 계산 원리를 본떠 만들어졌다. 따라서 하이퍼네 트워크 모델은 주어진 데이터들끼리 상호작용하며 학습 구조를 형성하는 자기조직성을 갖고 있고 데이터를 순차적으로 받아들이는 온라인 학습이 가능하다. 본래 DNA 컴퓨팅으로부터 기인했던 만큼 실제 시험관 실험으 로 구현할 때 여러 실험적 제약으로부터 자유롭다.

이 연구에서는 필기체 인식 문제에 하이퍼네트워크 모델을 적용하여 기 본적인 성능을 확인하고 온라인 학습을 통해 성능이 향상되는지를 확인했 다. 이를 통해 분자 하이퍼네트워크 모델이 패턴 인식 문제를 온라인 학 습으로 풀 수 있으며, 또한 성공적인 학습 수렴에 필요한 데이터의 양과 종류 등의 특성을 통해 분자 하이퍼네트워크 모델이 실제 시험관 실험으 로 구현 가능성이 있는지를 알아보았다.

………

주요어 :하이퍼네트워크,숫자 분류,DNA컴퓨팅,기계학습 학 번 :2013-20397

목 차

초 록 ···i

목 차 ···ii

그림 및 표 목차 ···iii

I. 서론 ···1

II. 이론적 배경 ···3

2.1. 하이퍼네트워크 모델 ···3

2.2 데이터로부터 하이퍼네트워크 구성 ···6

III. 실험 방법 ···10

3.1 데이터 ···10

3.2 실험 방법 ···11

IV. 실험 및 결과 ···13

4.1 하이퍼네트워크의 학습 분류 성능 ···13

4.2 하이퍼네트워크의 온라인 학습 분류 성능 ···15

4.3 기계 학습 기법들 간의 성능 비교 ···17

V. 결론 ···20

참고문헌 ···21

Abstract ···23

그림 및 표 목차

그림 2-1. 7개의 노드와 5개의 하이퍼에지로 이루어진 하이퍼그래프의

예 ···4

그림 2-2. 데이터로부터 하이퍼네트워크를 구성하는 일반적인 과정 ···7

그림 3-1. MNIST 필기체 데이터 ···10

그림 3-2. 하이퍼네트워크 모델의 학습 및 패턴 분류 과정 ···11

그림 4-1. 피쳐 개수에 따른 하이퍼네트워크 모델의 필기체 분류 성능 ···13

그림 4-2. 학습 이미지 개수에 따른 하이퍼네트워크 모델의 필기체 분류 성능 ···14

그림 4-3. 이미지 당 추출 개수에 따른 하이퍼네트워크 모델의 필기체 분류 성능 ···14

그림 4-4. 비선택적 피드백을 통한 하이퍼네트워크 모델의 온라인 학습 성능 곡선 ···15

그림 4-5. 선택적 피드백을 통한 하이퍼네트워크 모델의 온라인 학습 성 능 곡선 ···16

그림 4-6. 피쳐 = 3일 때 기계학습 기법들의 필기체 분류 성능 곡선 ···17

그림 4-7. 피쳐 = 10일 때 기계학습 기법들의 필기체 분류 성능 곡선 ···18

그림 4-8. 피쳐 = 25일 때 기계학습 기법들의 필기체 분류 성능 곡선 ···18

표 4-1. 온라인 학습된 하이퍼네트워크 모델의 성능 ···16

표 4-2. 기계학습 기법들의 필기체 분류 성능 ···19

I. 서론

인간이 받아들이는 정보의 대부분은 시각 정보이며, 인지 기능은 시각 과 밀접한 관련이 있다. 따라서 인간의 시각적 정보 처리 과정을 모사하 는 연구는 매우 중요하다. 그 중 사람의 필기체 인식 문제는 학제적 분야 와 공학적 분야 양쪽에 있어 널리 비중 있게 다뤄지는 문제이다.

DNA 컴퓨팅은 기존의 실리콘 기반의 컴퓨터와는 달리 DNA 분자를 사용하는 계산학이며 분자 컴퓨팅의 한 분야이다. 분자 컴퓨팅에서는 계 산 매질로 분자를 사용하기 때문에 수 g 정도의 적은 질량에도 10²³ 여 개 정도의 많은 수의 분자들이 포함되어 있어 실리콘 기반의 컴퓨터보다 집적도가 높고, 각각의 분자들이 별도로 계산 과정을 수행하기 때문에 초 병렬적인 계산이 가능하다[1]. 따라서 본질적으로 기존의 폰노이만 방식 과는 다른 컴퓨팅을 할 수 있어, 보다 인간과 비슷한 컴퓨팅을 할 수 있 다고 기대된다. 또한 분자 컴퓨팅은 자발적인 분자간의 결합을 계산 과정 으로 쓰기 때문에 계산 진행에 필요한 에너지가 낮고, 계산 매질이 생물 화학적인 물질이기 때문에 계산 전후의 과정을 생물학적 응용에 연결하기 쉽다.

특히 DNA는 화학 분자 중에서도 안정성이 높고 다루기가 쉬워 분자 컴퓨팅 분야에서 흔히 쓰이고 있다. DNA sticker model[2], Strand Displacement[3], Origami[4]등의 기법이 개발되어 DNA 컴퓨팅의 자 유도를 높였으며, Traveling Salesman Problem[5], Tic Tac Toe[6], 논리 게이트[7] 등의 문제는 이미 DNA 컴퓨팅으로 풀 수 있음이 밝혀졌 다. 하지만 DNA 컴퓨팅은 아직 충분히 발달하지 못한 분야로, 기계학습 등의 보다 복잡한 문제는 DNA 컴퓨팅으로 구현된 바가 없다.

특히 DNA 컴퓨팅은 자기조직성을 갖고 있으며 이는 연상 메모리 현상 으로 이어진다. 즉, 데이터를 DNA로 인코딩하여 저장하는 경우 데이터들

간에 자발적인 결합을 통해 각 데이터가 서로 영향을 주고받게 되며, 새 로운 데이터가 들어올 경우 이 데이터는 오로지 그 내용에 의해서 위치가 정해지게 된다. 이와 같이 DNA 컴퓨팅은 연상 메모리의 특성을 가지고 있으며, 데이터를 저장할 때 주소와 내용을 개별적으로 가지고 있는 컴퓨 터와는 구분되는 차이점이다. 인간의 뇌는 연상 메모리의 특성을 보인다 고 알려져 있으며, 따라서 DNA 컴퓨팅은 뇌의 정보 처리적 측면을 효과 적으로 모델링할 수 있으리라 기대된다.

기계학습은 컴퓨터가 특정 목적을 수행할 때, 그 성능이 경험을 통해 향상되게 하는 알고리즘과 기술을 개발하는 분야를 말한다. 기존의 기계 학습 모델들은 실리콘 기반 컴퓨터에 맞춰져 있어 DNA 컴퓨팅으로 구현 이 어렵다. 하지만 하이퍼네트워크 모델[8]은 DNA 컴퓨팅에서 유래한 기계학습 모델이기에 본질적으로 컴퓨팅 구조가 DNA 컴퓨팅과 호환되어 다른 기계학습 모델에 비해 DNA 컴퓨팅으로 구현하기 쉽고, 자기조직성 과 연상 메모리 특성도 보존하고 있어 데이터가 순차적으로 주어져도 자 기조직적 구조 변경에 의한 온라인 학습이 가능하다.

본 논문에서는 필기체 인식 문제를 분자 하이퍼네트워크 모델을 사용한 가상실험을 통해 풀고, 그 성능 및 특징이 어떻게 되는지 확인하여 하이 퍼네트워크 모델이 이 문제에 적용될 때에 기본적인 성능을 보일 수 있는 지 알아본다. 또한 분자 하이퍼네트워크를 온라인 방법으로 학습시킬 때 그 성능의 향상 여부와 향상 한도를 알아보고, 학습곡선에서 어떠한 특징 을 보이는지를 확인한다. 최종적으로 필기체 인식 문제를 분자 하이퍼네 트워크에 적용하여 DNA 시험관 실험으로 유의미한 결과를 얻을 수 있을 지를 탐구한다.

II. 이론적 배경

2.1. 하이퍼네트워크 모델

하이퍼그래프는 간선이 값이 있는 노드에 연결되어 있는 무방향성 그래 프 G = (V, E)이다[11]. 여기에서   ^ _ ⋯ _^이고

  ^_ ⋯_^{, 그리고 }^ _ ⋯ _이다. 이 때의 E_i는 하이 퍼에지라 불린다. 수학적으로, Ei는 집합이며 기수 k는 1보다 크거나 같 다. 즉, 보통의 그래프에서 간선이 최대 2개 노드까지 연결될 수 있는 것 과는 다르게 하이퍼에지는 두 개 이상의 노드에 연결될 수 있다. 기수 k 의 하이퍼에지는 k-하이퍼에지라 불릴 수 있다.

그림 2-1은 7개의 노드   ^ _ ⋯ _와 5개의 하이퍼에지

  ^____로 이루어진 하이퍼그래프를 보인다. 하이퍼그래프 는 사건 매트릭스로 표현될 수 있다. 하이퍼그래프 G = (V, E)의 사건 매트릭스는 하이퍼에지 G와 n개의 열을 표현하는 m 행을 가진 매트릭스 ((aⁱj))이다. 여기서 n개의 열은 aⁱj = 1 if vj ∈ E_i and aⁱj = 0 if vj ∉ Ei. aⁱj = 1과 같은 G 노드들을 표현한다. 각각의 (0, 1) 매트릭스는 만 약 0만을 담고 있는 행 또는 열이 없는 경우 하이퍼그래프의 사건 매트 릭스이다. 그림 2-1은 또한 하이퍼에지에 대응하는 사건 매트릭스를 보 인다.

그림 2-1. 7개의 노드와 5개의 하이퍼에지로 이루어진 하이퍼그래프의 예[9]

하이퍼에지에 가중치가 부여된 하이퍼그래프는 하이퍼네트워크로 일반 화 시킬 수 있다. 하이퍼네트워크는 H = (V, E, W)로 정의한다.

  ^ _ ⋯ _ ⁽¹⁾

  __ ⋯_ ⁽²⁾

 ^ _ ⋯ _ ⁽³⁾

여기서 _ ^ _ ⋯ _^{이다. m}-하이퍼네트워크는 노드 V의 집합 과 V[m]의 E 부분집합, 그리고 하이퍼에지 가중치들의 집합인 W로 이 루어진다. 즉 H = (V, E, W). E = V[m]은 원소로 정확히 m개의 멤버 를 가지는 V의 부분 집합이다. 만약 E의 모든 간선 Ei가 기수 k를 가진 다면 하이퍼네트워크 H는 k-유일이라고 말할 수 있다. 보통의 그래프는 w_i = 1인 2-유일 하이퍼네트워크이다.

데이터 집합 D = {X⁽ⁿ⁾}^Nn=1를 하이퍼네트워크에 저장하기 원한다면 하이퍼네트워크가 데이터의 확률 분포를 나타내도록 해야 한다. 데이터 집합 D는 후에 내용으로 다시 불러낼 수 있다. x⁽ⁿ⁾은 저장되는 n번째 패 턴을 의미한다. 이 때 하이퍼네트워크의 에너지를 다음과 같이 정의한다.

(4)

여기서 W는 하이퍼네트워크 모델 내 하이퍼에지들의 가중치를 의미한 다. _^{ }_^{ }⋯ _^{ }은 데이터 값 x⁽ⁿ⁾의 k성분의 조합이다. 여기서 x⁽ⁿ⁾은 망에서 k-하이퍼에지로 표현된다. 하이퍼네트워크가 생성하는 데이터 확 률은 다음과 같다.

(5)

이 식의 정규화 형태는 다음과 같다.

(6)

실제로, 하이퍼네트워크는 하이퍼에지와 그것들의 가중치를 사용하는 데이터 집합 확률 모델을 나타낸다.

2.2 데이터로부터 하이퍼네트워크 구성

주어진 데이터 집합을 만족시키는 하이퍼네트워크를 만드는 과정을 기 술한다. 기본적인 아이디어는 무작위망에서 시작하여[12] 그것이 데이터 를 학습할 수 있게 자기 조합하게 하는 것이다. 그림 2-2는 그 과정을 나타내고 있다.

하이퍼네트워크는 하이퍼에지의 집합으로 표현된다. 각 무작위 k-유일 하이퍼네트워크는 기수 k의 간선의 집합 (도는 라이브러리) L로 표현된 다. 여기서 하이퍼에지의 성분 변수와 하이퍼에지의 복제 수는 무작위 또 는 문제 성격에 맞는 선지식에 의해서 초기화 된다[13].

그 과정은 다음과 같이 정리된다.

(1) 기수 k의 무작위 하이퍼에지의 라이브러리 L을 생성한다.

(2) 패턴 x를 얻는다. x로부터 중복이 허용된 기수 k의 하이퍼에지 집 합 K를 생성한다.

(3) (인출) M으로의 오류 허용 오차 τ을 가지는 K의 하이퍼에지와 일치하는 L의 하이퍼에지를 찾는다.

(4) (저장) 하이퍼에지 u ∈ M에 대해 L ← L + M + Copy(u)에 의 해 L을 갱신한다.

(5) 끝나지 않으면 단계 2로 간다.

그림 2-2. 데이터로부터 하이퍼네트워크를 구성하는 일반적인 과정[9]

라이브러리는 기수 k의 하이퍼에지의 무작위 집합에서 시작한다(1). 학 습 패턴   ^ _ ⋯ _이 관찰되면, x로부터의 중복이 허용된 하이퍼 에지 집합 K를 추출한다(2). 구성 변수와 복제 숫자는 무작위로 선택된 다. 예제로부터 라이브러리 L과 하이퍼에지 집합 K는 L에서 일치하는 하 이퍼에지를 찾기 위해 합쳐진다(3). 이것은 하이퍼에지를 두 개의 집합에 서 혼합함으로써 이루어진다. 그러면 일치하는 하이퍼에지는 특정 비율로 복제된다. 즉 u ∈ M에 대한 Copy(u)이다. 그리고 갱신하기 위해 현재 라이브러리 L에 합쳐진다(4). 전체 과정이 다음 학습 패턴에 대해 반복 된다(5). 그 과정은 비교적 간단한 분자 연산자인 선택, 분리, 복제를 모 방한다.

이 일치 과정에 오류 허용 오차를 쓰는 것에 주목하는 것은 중요하다.

오류 허용 수준 τ은 알고리즘 인수이다. 오류 허용 오차 인수는 여러 함

축을 지닌다. 먼저, 혼합 반응의 비신뢰도를 모델링하는데 유용하다. 두 번째로 생성된 하이퍼네트워크의 메모리를 조절하는데 유용하다. 왜냐하 면 불일치는 기본 데이터에서 노이즈를 줄이는 효과를 가지고 있기 때문 이다. 낮은 수준의 오류 허용 오차 (단지 작은 수의 불일치만을 허용한 다)는 과적합을 유도한다. 높은 수준의 오류 허용 오차는 불안정한 학습 결과를 낸다.

이것은 저장 과정이 학습 데이터 집합에 대해 최대 우도 인수를 찾는데 기울기 검색을 수행함을 보인다. 여기서 독립적이고 항등의 분포 예제 n 개의 집합 D = {X⁽ⁿ⁾}^N_n=1이 주어지면, 인수 W의 우도는 다음과 같다.

(7)

여기서 W는 차수 k의 간선 복제의 가중치 또는 개수로 구성된다. 우도 에 로그를 취하면

(8)

여기서  ^{ }에 관한 (5)식이 사용된다. 로그-우도의 미분 계수를 취하면

(9)

여기서 마지막 줄의 두 개 용어는 다음과 같이 정의 된다.

(10)

(11)

학습 규칙 (9)는 위에서 보았듯이 최대 –우도가 데이터 집합과 하이퍼 네트워크 모델에서 하이퍼에지의 평균 빈도간의 차이를 줄임으로써 얻어 짐을 나타낸다.

III. 실험 방법

3.1 데이터

실험에 사용한 데이터는 NIST 데이터의 부분집합인 MNIST 필기체 이미지로, 0부터 9까지의 숫자를 찍은 10-class 이미지 데이터이다. 이 는 학습 데이터와 테스트 데이터로 명시적으로 분류되어 있다. 학습 데이 터는 각 클래스 별 6000여개 씩 총 60000여개의 이미지이며, 테스트 데 이터는 클래스 별 1000여개 씩 10000여개의 이미지로 이루어져 있다.

모든 이미지는 기본적으로 크기보정과 위치보정을 통해 표준화되어있으 며, 추가적으로 2진수 데이터로 변환하였다. 본 연구에서는 MNIST 중 class label이 6과 7인 데이터만 사용하였다.

그림 3-1. MNIST 필기체 데이터

3.2 실험 방법

그림 3-2. 하이퍼네트워크 모델의 학습 및 패턴 분류 과정[14]

MNIST 필기체 데이터를 그대로 하이퍼에지로 옮기는 경우에는 데이터 의 차원이 너무 커져서 문제가 생기므로, 우선 학습을 수행하기 전에 데 이터를 잘 구분하는 피쳐를 골라 추출한다. 전반적인 학습 성능을 크게 증가시킬 수 있는 피쳐 선택 방법들이 존재하지만, 본 연구에서는 모델의 학습 특성을 보고자 하였기 때문에 우수한 피쳐 선택 방법은 사용하지 않 았다. 따라서 각 클래스별 이미지 평균값간의 차를 구하여, 이 중 가장 큰 차이를 보이는 피쳐를 고르는 간단한 방식의 피쳐 선택 방법을 사용하 였다.

피쳐가 추출된 후에는 하이퍼네트워크를 학습한다. MNIST의 학습 데 이터 부분을 사용하여 정해진 변수에 따라 일정한 개수의 이미지에서 일 정한 개수의 하이퍼에지를 추출하여 각 클래스별로 하이퍼네트워크를 구

성한다. 이 때 하이퍼에지의 차수는 3으로 고정하였다.

테스트 과정에서는 MNIST의 테스트 데이터 부분과 학습된 하이퍼네트 워크를 이용한다. 주어진 테스트 이미지에서 일정한 개수의 하이퍼에지를 추출하여 각 클래스의 하이퍼네트워크에 담겨 있는 하이퍼에지와 매치시 켜 본 후, 어느 클래스가 더 높은 일치도를 보이는지를 확인하여 결정을 내린다. 온라인 학습의 경우, 내려진 결정과 실제 클래스의 일치하는지의 여부에 따라 하이퍼네트워크에서 하이퍼에지를 더하고 빼주는 과정이 포 함된다. DNA 컴퓨팅의 경우 이러한 피드백은 보통 DNA를 전기영동 시 켜서 분리시킨 후 완벽에 가까운 결합을 보이는 부분만 추출함으로 이루 어진다. 이러한 세부사항을 반영하기 위해 추가되거나 제거되는 하이퍼에 지는 테스트 데이터와 결합도가 높은 하이퍼에지만 선택적으로 고를 수 있도록 가상실험을 구현하였다.

IV. 실험 및 결과

4.1 하이퍼네트워크의 학습 분류 성능

그림 4-3. 피쳐 개수에 따른 하이퍼네트워크 모델의 필기체 분류 성능

그림 4-1은 추출되는 피쳐의 개수를 달리하여 하이퍼네트워크로 1000 개의 이미지를 학습한 후 1000개의 테스트 이미지에 대해 10회 반복 테 스트해 본 결과이다. 각 이미지에서는 10개의 하이퍼에지를 추출하였다.

결과에서 너무 적거나 많은 수의 피쳐를 선택할 시 성능이 떨어짐을 알 수 있다.

다음은 학습 데이터 이미지 개수와 각 이미지에서 뽑는 하이퍼에지의 수를 다르게 하여 하이퍼네트워크에 적용시켰다. 학습 반복 횟수는 10회 로 지정했다.

그림 4-4. 학습 이미지 개수에 따른 하이퍼네트워크 모델의 필기체 분류 성능

그림 4-5. 이미지 당 추출 개수에 따른 하이퍼네트워크 모델의 필기체 분류 성능

학습 데이터가 적을 때에는 급격한 성능 향상을 보이며, 학습 곡선의 수렴이 빠르게 이루어져, 일정 이상의 데이터에서는 정보가 늘어나도 거 의 동일한 정답률을 보인다. 피쳐가 늘어날수록 초기 분류 성능은 떨어지 지만, 일정 이상 학습 정보가 주어지면 더 우수한 성능을 보인다.

4.2 하이퍼네트워크의 온라인 학습 분류 성능

학습된 하이퍼네트워크에 테스트 데이터가 들어올 때 그 결과에 대한 피드백을 받는 온라인 학습을 실험하였다. 피드백에는 선택적 피드백과 비선택적 피드백이 가능하다. 본 실험에서는 선택적 피드백이 적용되는 경우 1-mismatch 하이퍼에지까지는 피드백에 포함하도록 하였다.

그림 4-6. 비선택적 피드백을 통한 하이퍼네트워크 모델의 온라인 학습 성능 곡선

그림 4-7. 선택적 피드백을 통한 하이퍼네트워크 모델의 온라인 학습 성능 곡선

Feature Selective

Incremental(%) Incremental(%)

3 90.92% 90.68%

10 93.08% 93.52%

25 92.62% 90.24%

표 4-1. 온라인 학습된 하이퍼네트워크 모델의 성능

비선택적 피드백의 경우 초기 성능이 빠르게 상승하는 데에 반해 선택 적 피드백은 하이퍼에지를 골라서 추출하므로 초기 성능은 비교적 느리게 상승한다. 두 경우 최종 성능은 모두 한 곳에 수렴하였으며, 비선택적 피 드백의 최종 학습 성능은 4.1의 최종 학습 성능과 거의 동일했지만 선택 적 피드백의 최종 학습 성능은 이보다 다소 낮은 값을 보였다.

4.3 기계 학습 기법들간의 성능 비교

널리 사용되는 기계학습 기법에 학습 데이터 이미지 수를 다르게 적용 하여 필기체 분류 성능을 확인했다. 학습을 수행하기 전에 전처리로 피쳐 를 추출하였다. 사용한 기계학습 기법은 하이퍼네트워크와 MLP(Multilayer Perceptron), NaiveBayes, SMO(Sequential minimal optimization), J48이다. 10-fold 교차검증을 사용하였으며, 측정은 Weka 프로그램을 통해 수행하였다. 다음은 여러 기계학습 기법의 필기체 분류 성능이다.

그림 4-8. 피쳐 = 3일 때 기계학습 기법들의 필기체 분류 성능 곡선

그림 4-10. 피쳐 = 25일 때 기계학습 기법들의 필기체 분류 성능 곡선 그림 4-9. 피쳐 = 10일 때 기계학습 기법들의 필기체 분류 성능 곡선

Feature .J48(%) NaiveBayes

(%) MLP(%) SMO(%) Hyper

network(%)

3 92.50 92.45 92.42 92.52 91.73

10 96.63 96.24 96.80 96.14 93.58

25 98.06 97.60 98.27 98.21 92.85

표 4-2. 기계학습 기법들의 필기체 분류 성능

표 4-2을 보면 알 수 있듯이, 피쳐의 수가 늘어날수록 분류 성능이 좋 아지는 경향을 보인다. 피쳐의 수가 3일 때는 학습 데이터가 늘어나면 성 능이 감소하는 점이 특징적이며(그림 4-6), 피쳐가 많은 경우는 학습 데 이터가 늘어나도 성능은 유지된다. 모든 알고리즘이 90% 내외의 정확도 를 보이며, 하이퍼네트워크 모델은 다른 모델에 비해 안정적인 성능 변화 의 폭을 가진다는 점과 피쳐의 수가 적을 때 상대적인 성능이 높다는 점 이 특징이다.

V. 결론

본 논문에서는 자기조직적인 분자 하이퍼네트워크 모델을 통해 필기체 분류 문제를 DNA 컴퓨팅 분자 실험에서 풀 수 있음을 보였다. 하이퍼네 트워크는 하이퍼에지의 형태로 저장된 데이터들이 자기조직적으로 모델의 구조를 형성하기 때문에 학습 데이터를 순차적으로 받는 온라인 학습이 가능하며, 실제 테스트를 거칠 때 추가적인 학습 데이터를 받아 성능이 향상됨을 확인하였다. 특히 이러한 증강성은 기계학습을 DNA 컴퓨팅으 로 구현 가능케 하는 데에 유리한 특징이다.

온라인 학습에서는 비선택적 피드백과 선택적 피드백 모두 성능 향상을 돕지만, 비선택적 피드백이 좀 더 우수한 성능을 보였다. 이는 선택적 피 드백에서 받아들이는 정보가 한정적이기 때문에 빈도가 낮은 패턴까지 학 습할 수 없으며, 받아들이는 하이퍼에지의 절대 숫자도 더 적기 때문으로 추측된다.

화학적으로 한 종류의 분자에 대해선 많은 수의 분자를 쉽게 합성할 수 있지만, 다양한 종류의 분자를 합성하는 데에는 현실적인 어려움과 제약 이 있다. 실험 결과에서는 공통적으로 적은 피쳐와 적은 데이터가 주어져 도 좋은 성능을 보임이 드러났으며, 이는 필기체 분류 문제를 DNA 하이 퍼네트워크로 풀 때 많은 종류의 분자를 필요로 하지 않음을 뜻한다.

결론적으로, 하이퍼네트워크가 필기체 분류 문제에서 기존 기계학습 모 델과 유사한 성능을 보여 문제 해결 가능성을 보여주었으며, DNA 컴퓨 팅의 장점을 잘 활용할 수 있는 기계학습 방법임과 동시에 DNA 컴퓨팅 으로 구현 가능성이 크다. 더하여 하이퍼네트워크는 그 특성상 다른 알고 리즘보다 계산량이 많기 때문에 큰 규모의 실험에서는 DNA 컴퓨팅을 통 한 구현이 더욱 필요하다 할 수 있다. 이후 실험관 실험을 통해 분자 컴 퓨팅으로 하이퍼네트워크의 온라인 학습이 적용될 수 있음을 확인하는 기 초 실험 연구가 수행되어야 한다.

참고문헌

[1] G. Paun, G. Rozenberg, and A. Salomaa, DNA computing: new computing paradigms, Springer, 1998.

[2] S. R. E. W. R. Burgoyne, N. V. Chelyapov, M. F. Goodman, P. W.

Rothemund and L. M. Adleman, A sticker based model for DNA computation, DNA Based Computers Two, 44:1, 1999.

[3] D. Y. Zhang and E. Winfree, Control of DNA strand displacement kinetics using toehold exchange, Journal of the American Chemical Society, 131(47):17303-17314, 2009.

[4] P. W. Rothemund, Folding DNA to create nanoscale shapes and patterns, Nature, 440(7082), 297-302, 2006.

[5] L. M. Adleman, Molecular computation of solutions to combinatorial problems, Science-AAAS-Weekly Paper Edition, 266(5187):1021-1023, 1994.

[6] M. N. Stojanovic and D. Stefanovic, A deoxyribozyme-based molecular automaton, Nature biotechnology, 21(9):1069-1074, 2003.

[7] G. Seelig, D. Soloveichik, D. Y. Zhang and E. Winfree, Enzyme-free nucleic acid logic circuits, Science, 314(5805), 1585-1588, 2006.

[8] B.-T. Zhang, Hypernetworks: A molecular evolutionary architecture for cognitive learning and memory, IEEE Computational Intelligence Magazine,

3(3):49-63, 2008.

[9] B.-T. Zhang and J.-K. Kim, DNA hypernetworks for information storage and retrieval, Preliminary Proceedings of the Twelfth International Meeting on DNA Computing (DNA 12), pp. 283-292, 2006.

[10] B.-T. Zhang, Random hypergraph models of learning and memory in biomolecular networks: shorter-term adaptability vs. longer-term persistency, The First IEEE Symp. on Foundations of Computational Intelligence (FOCI '07), pp. 344-349, 2007.

[11] C. Berge, Graphs and hypergraphs, Amsterdam: North-Holland publishing company, 7, 1973.

[12] S. Janson, T. Luczak and A. Rucinski, Random graphs, John Wiley &

Sons, 45, 2011.

[13] B.-T. Zhang and H.-Y. Jang, A Bayesian algorithm for in vitro molecular evolution of pattern classifiers, Preliminary Proceedings of the Tenth International Meeting on DNA Computing (DNA 10), pp.294-303, 2004.

[14] K.-A. Yang, I.-H. Lee, and B.-T. Zhang, An in vitro DNA hypernetwork for digit pattern recognition, Preliminary Proceedings of the 15th International Meeting on DNA Computing (DNA 15), 2009.

Abstract

Pa t t e r n Cl a s s i f i c a t i on Us i ngMol e c ul a rHype r ne t wor k Ba s e d on Se l f - or ga ni z a t i on

JeHwanRyu InterdiciplinaryProgram inNeuroscience

TheGraduateSchool SeoulNationalUniversity

DNA computing is a type of molecular computing which uses DNA molecules as the computing material, different from conventional silicon-based computer science. DNA computing has received attention recently because of its unique computational advantages. In particular, DNA computing provides suitable computing technology for realizing online-learning because of its self-assembly property. The human brain also has a self-assembly property, so DNA computing can be expected to function as a simulation tool that emulates the human brain model. However, complex problems like machine learning, has not been solved through DNA computing. This is because conventional machine learning techniques are optimized to silicon-based computer. The Hypernetwork model is derived from principles of DNA computing, different from other conventional machine learning techniques.

Therefore, the Hypernetwork model has many properties of DNA computing, especially the self-assembly property, online-learning possibility. As originally derived from DNA computing, the structure of the Hypernetwork model is compatible with DNA, and realization of the model in DNA computing is relatively easy.

In this research, by applying the Hypernetwork model to a visual pattern recognition problem, we verify the basic performance and online learning performance. Through properties of the learning curve, we study the

possibility of implementing in vitro DNA computing experiments of Hypernetwork model.

………

keywords :Hypernetwork,digitclassification, DNA computing,machinelearning StudentNumber :2013-20397