Real-time Multimodal Audio-to-Tactile Conversion System for Playing or Watching Mobile Shooting Games

본 연구에서는 모바일 디바이스로 슈팅 게임을 플레이하거나 감상하는 상황에서 사용자 경험의 향상을 위한 실시간 다중촉감 청-촉각 변환 시스템을 제시한다. 해당 시스템에서는 실시간으로 모바일 디바이스에서 발생하는 소리가 햅틱 피드백을 제공하기에 적절한지 감지하며, 감지된 소리를 기존 햅틱 피드백으로 주로 사용하는 진동 뿐 아니라 짧고 강한 힘의 임팩트 효과로도 표현한다. 이를 위해, 슈팅 게임 상황에서 진동과 비교했을 때 임팩트 햅틱 피드백의 적합성을 확인하였다. 그리고 음향심리학적 척도와 서포트 벡터 머신을 이용한 두 종류의 충격음 감지기를 개발하고, 기존 연구의 감지기와 그 성능을 비교하여 본 연구에서 개발한 두 가지 감지기가 기존 연구의 감지기보다 향상된 성능을 보임을 확인하였다. 최종적으로 전체 시스템의 사용자 경험을 아홉 가지 측면에서 사용자 실험을 통해 평가한 결과 본 연구에서 제시하는 시스템을 사용하였을 때가 그렇지 않은 상황에 비해 유의미하게 사용자 경험을 향상시켰다.