Experience Sampling with On-line Reconfiguration of Experimental Parameters for Comparative Evaluation of Mobile Applications

모바일 스마트 디바이스들의 출현으로, ESM(경험 샘플링 방법)은 모바일이나 컨텍스트기반 어플리케이션을 평가하고, 사용자의 생태학적인 행동 정보를 획득하는 방법으로 많이 사용되고 있다. ESM은 특히 A/B 테스트와 특정한 컨텍스트로부터 수집되는 신뢰할 수 없고 불균형적인 데이터들로 인해 편향이 발생하기 쉽지만, 이에 대한 운용상의 문제점이나 어려움들에 대하여 자세하게 밝힌 연구들은 없다. 본 연구에서는 ESM 기반의 비교평가 실험을 보다 신뢰할 수 있고 경제적이며 편리하게 운용할 수 있도록 평가 파라미터들을 동적으로 재구성할 수 있는 PRESTO (Parameter REconfiguring Experience Sampling and analysis Tool) 라고 부르는 강화된 ESM 과 관련 툴들을 제시한다. PRESTO를 이용하여 연구자는 수집되는 데이터들의 충분성, 균형, 검정력을 지속적으로 분석할 수 있으며, 실험의 특정 부분을 단축하거나 주의를 더 기울일 수 있다. PRESTO의 검증을 위해 컨텍스트 기반 모바일 어플리케이션의 음성과 텍스트 입력 인터페이스를 평가하는 A/B 테스트 사례에 전통적 ESM과 PRESTO를 적용하여 비교하는 연구를 수행하였다. 수집된 데이터와 분석결과, 실험 참가자들과의 사후 인터뷰를 바탕으로, 본 연구는 PRESTO가 어떻게 ESM 기반의 A/B 테스트를 기존보다 효율적이고 신뢰할 수 있게 운영할 수 있도록 도움을 주는지, 그리고 다른 결과를 도출할 수 있는지 보여준다.