메모리 트랜스포머 Q-학습을 활용한 카트-폴 시스템 제어

Abstract

본 논문은 기존 심층강화학습 알고리즘을 개선하기 위하여 Memory Transformer Q-learnig Network(MTQN)을 제안하였다. MTQN은 sequence 시스템을 보다 효율적으로 모델링하기 위하여 기존 심층 강화학습 모델에 transformer를 결합하여 구성하였으며, 또한 transformer 사용을 위하여 부수적으로 LSTM의 gating mechanism이 이용되었다. 제안한 알고리즘은 대표적인 강화학습 benchmark 환경인 Cart-Pole 시스템에서 비교 분석하였으며, Cart-Pole 시스템은 OpenAI에서 제공하는 gym 라이브러리를 사용하였으며, 강화학습 알고리즘은 pytorch와 numpy로 구현되었다. 제안한 알고리즘의 성능분석을 위하여 대표적인 심층 강화학습 알고리즘인 DQN과 DQN의 변형 알고리즘들을 비교 분석하였다. 실험은 Cart-Pole 시스템의 evaluation score, cart position 그리고 pole angle을 추출하여 비교 분석하였다. Evaluation score를 확인해본 결과 제안된 알고리즘이 가장 빠르고 안정적으로 학습함을 보였다. 또한 cart position과 cart의 누적 이동 거리를 확인해본 결과 제안된 알고리즘에서 cart position이 다른 알고리즘에 비하여 원점을 기준으로 균형적으로 수렴하며 움직였고, 총 누적 거리는 다른 알고리즘에 비해 확연히 짧은 모습을 확인할 수 있었다. Pole angle 또한 제안한 알고리즘에서 다른 알고리즘과 비교하여 빠르게 원점 근처로 수렴하였으며 그리고 학습된 알고리즘에서 수행한 결과를 추출한 자료에서도 원점을 기준으로 대칭적인 분포한다는 사실을 확인하였다.|This paper proposes a Memory Transformer Q-learnig Network (MTQN) to improve the existing deep learning algorithm. The MTQN is constructed by combining the existing deep learning model with a transformer to model the sequence system more efficiently, and the gating mechanism of LSTM is used. The proposed algorithm is compared and analyzed on the Cart-Pole system, which is a representative reinforcement learning benchmark environment. The Cart-Pole system uses the gym library provided by OpenAI, and the reinforcement learning algorithm is implemented with pytorch and numpy. To analyze the performance of the proposed algorithm, DQN, a representative deep reinforcement learning algorithm, and DQN's variants were compared and analyzed. The experiments were conducted by extracting the evaluation score, cart position, and pole angle of the Cart-Pole system. The evaluation score shows that the proposed algorithm learns the fastest and most stable. Also, by checking the cart position and the cumulative distance by the cart, it can be seen that the cart position in the proposed algorithm moves symmetrically around the origin compared to other algorithms, and the total cumulative distance is significantly shorter than other algorithms. Pole angle also converged to the origin quickly in the proposed algorithm compared to the other algorithms, and the extracted results from the trained algorithm also confirmed that it was symmetrically distributed around the origin.