An Energy-Efficient HVAC Control Scheme Based on Deep Reinforcement Learning Using Liquefied Natural Gas Carrier Environment Prediction Model

본 논문은 건조 중인 LNG 화물창 환경을 안정적으로 유지하고 에너지를 최소화하기 위한 심층 강화학습 기반 공조 제어 방법을 제안한다. 건조 중인 화물창 내부와 같은 특수한 환경은 여러 요인에 의해 영향받기 쉬우므로, 정보를 정확히 예측하여 에너지 소모가 많은 공조 시스템을 자동으로 제어하기 어렵다. 이러한 문제를 완화하기 위해, 우리는 심층 강화 학습 모델을 통해 훈련된 공조 제어 에이전트를 통해 실내 환경을 안정적으로 제어하는 최신 방법을 제안한다. 이 방법에서는 운영 상황에 대한 전문지식 없이, 수집된 데이터의 상관 분석을 기반으로 실내 환경 상태 예측 모델을 구성하고, 모델을 기반으로 상태와 행동을 정의한 후 보상 기능을 통해 정책으로 훈련된 에이전트를 구축한다. 제안한 방법의 유효성을 확인하기 위하여, 우리는 실제 LNG 화물창 내부 공조 시스템에서 수집한 데이터를 이용하여 구축한 시뮬레이션 환경에서 HVAC 제어 성능 평가를 수행한다. 우리의 시뮬레이션 결과는 본 논문에서 고려하였던 3종의 강화학습 모델 중 Double DQN 모델이 공조 제어에 가장 효과적임을 보인다. 또한, 그 결과는 학습된 에이전트가 사용자-지정 온도 내에서 화물창 내부 환경을 안정적으로 유지 시키면서 일 평균 28.2%까지 전력 소모를 줄일 수 있음을 보인다.