제 5 장
결 론
한 기준을 확립하였다.
Agent에서는 식을 정하여 exploration / exploitation을 결정하였다.
결정된 방법은 50,000 episode에 exploration / exploitation의 확률이 각각 50%가 된다. 네트워크는 CNN과 FC를 이용하였다. CNN은 이미지 인식이 많이 이용되는 방식이며 이미 그 성능이 검증되어 사용을 결정하 였다. 본 연구에서는 3개의 layer를 만들고 FC는 2개를 그 이후에 연결 하였다.
Reward 방안은 선별이 된 경우에만 부여하는 방안과 중복 state가 발 생한 경우 penalty를 추가로 부여하는 두 가지 reward 방안을 적용하였 다. Reward 방안 2가 더 좋은 결과를 보일것으로 예상되었지만 실제 결 과는 학습을 하였을 때 두 가지 방안 모두 선별하는데 소요되는 step이 줄어드는 결과를 보였지만 reward 방안1이 reward 방안 2보다 더 나은 결과를 보였다.
본 연구에서는 4X4 적치장에 강화학습을 적용하였지만 더 큰 적치장 에서 학습이 가능할 경우 실제 조선소 강재 적치장에 적용이 가능 할 것 으로 보인다.
참고문헌
[1] 박창규 외, '강재적치장 운영 효율화 방안에 관한 사례 연구', 대 한산업공학회, 19(2) 167-177, 2005
[2] 이상목 외, ‘웹기반 조선 강재적치장 관리시스템 개발에 관한 연구’, 대한산업공학회 추계학술대회 논문집, 1071-1078, 2008
[3] 이석현 외, ‘강재 통합 관리 시스템 개발’, 대한조선학회 논문 집, 51(2), 130-137, 2014
[4] Yoichi Hirashima, ‘A Q-learning System for Group-Based Container Marshalling with A-Priori Knowledge for Ship Loading’, ICROS-SICE International Joint Conference, 1728-1733, 2009
[5] 하병현 외, 컨테이너 터미널에서 베이 내 컨테이너의 최적 재정 돈을 위한 A* 알고리즘, 대한산업공학회지 38(2), 157-172, 2012
[6] 이상운, ‘컨테이너 사전정렬 문제의 스택 상자 채우기 알고리 즘’, 한국컴퓨터정보학회논문지, 20(10), 61-68, 2015
[7] 이웅원 외, '파이썬과 케라스로 배우는 강화학습', 위키북스, 2017 [8] Richard S. Sutton and Andrew G. Barto, 'Reinforcement
Learning An Introduction', Abradford Book, 2012
[9] Volodymyr Mnih et al., 'Asynchronous Methods for Deep
참고문헌
reinforcement learning, Nature, 2015
[11] Volodymyr Mnih et al., 'Playing Atari with Deep Reinforcement Learning', NIPS, 2013
부록
부록
그림 29 CNN의 계산 방법 예시 1
부록
부록
그림 31 FC와 Q-value 계산 방법 예시
Application of Reinforcement Learning to improve the reshuffling operation in shipyards steel stockyard
TaeHo Kim Department of Naval Architecture and Ocean Engineering The Graduate School Seoul National University
A large amount of steel is needed to make a large ship. In general, the steel materials needed for shipbuilding are stored in advance at the steel stockyard, and the steels are cut and used according to the production plan. When the steels arrived in the stockyard, the steels are stacked without any special rules. And when the steels are released from the stockyard, it is released in the specified cutting order.
ABSTRACT
the stack, the worker releases the steel by changing the stacking order using crane. This work is a waste factor that does not directly contribute to production activities. And shipyard performs the reshuffling operation of steel in the steel stockyard to reduce the waste factor.
The reshuffling operation is mainly carried out by the experience and intuition of the steel stockyard manager. It is unclear whether the work by experience and intuition is effective. Therefore, in this study, reinforcement learning was applied to exclude the experience and intuition of the workers as much as possible and perform effective reshuffling operation. For this purpose, the steel stockyard reshuffling was modeled in a form suitable for reinforcement learning, and the applicability was verified using example data.
Keywords:
Reinforcement Learning Steel Plate
Steel Stockyard Reshuffling
Shipyard Simulation
Student Number: 2017-27188
감사의 글
처음 연구실에 왔을 때는 모든 것이 어색했던 기억이 납니다. 학사가 조선해양공학과 출신이 아니어서 입학 시험인 공학수학부터 코딩, 각종 논문, 그리고 비교적 최근에 통과한 논문 자격 시험인 유체역학까지 하나 도 쉬운 게 없었습니다. 그런데도 제가 졸업까지 할 수 있었던 건 많은 분들의 도움이 있어서 가능했고 그분들께 감사의 말씀을 전하고 싶습니 다.
먼저 늦은 나이에 입학하고 졸업 할 때까지 뒤에서 묵묵하게 지원해 주신 가족께 감사드립니다. 학사를 졸업하고 방황하고 있을 때 중심을 잡
생활을 하며 저에게 많은 조언을 해준 동생 태헌이에게도 고마움을 표합 니다.
졸업 후 진로를 정하지 못한 상태에서 무엇을 해야 할지 모르는 상태 에서 상담을 하면서 길을 제시해주신 신종계 교수님 감사드립니다. 교수 님 덕분에 새로운 길을 걸을 수 있었고, 앞으로 제가 나아갈 길의 방향을 잡을 수 있었습니다.
매번 학기가 끝날 때마다 찾아가면 격려와 용기를 주는 말씀을 해주신 김효철 교수님 감사드립니다. 매 학기가 끝나고 찾아 뵈었을 때 좋은 말 씀과 함께 조선학과 초기의 여러가지 재미난 이야기를 해주셨고, 매우 흥 미진진 했습니다. 그리고 논문을 쓰면서 미숙한 저에게 저의 논문과 관련 해 여러 가지 코멘트를 해주신 장범선 교수님, 우종훈 교수님도 감사드립 니다.
생산시스템 연구실의 멤버들에게도 감사의 말씀을 드립니다. 큰형으로 서 저에게 많은 조언을 해준 영민이 형, 제 옆자리에 앉아서 항상 모범을 보여줬던 명기 형, 지금 자기만의 일을 하고 있는 동현이 형 감사합니다.
오래 보지 못해서 아쉬웠습니다. 나와 다르게 항상 침착한 모습을 보여줬 던 승훈이, 석사 논문을 준비하며 고생하던 정호, 둘다 동갑으로 좀 더 친하게 지낼 수 있었는데 적응한다는 핑계로 친해지지 못했습니다. 연구 실 분위기 메이커인 승혁이, 연구실에 들어오고 일주일이 지나 적응 잘 할 수 있다고 생각했는데 승혁이 덕분인 거 같습니다. 스웨덴 가서도 저 의 논문에 신경을 써주던 용국이, 연구실에서 처음 적응 못할 때 코딩과 공학 수학에 많은 도움을 줬던 새날이, 졸업 연구가 강화학습으로 정해졌