음성과 포인팅 제스처의 효과적인 결합에 관한 연구

Abstract

효과적인 멀티모달 인터페이스와 결합 알고리즘의 개발은 사람들이 어떻게 다양한 모달리티를 사용하는지에 대한 사용 패턴에 대한 것을 요구한다. 본 논문에서는 TV 가이드 시나리오의 작업을 대상으로 멀티모달 사용 패턴에 대한 분석을 하였다. 사용패턴 수집을 위해서 음성과 터치제스처의 두 가지 입력 모달리티를 사용하는 멀티모달 사용패턴 수집 시스템을 구현하였다. 54명의 참여자를 대상으로 수집된 사용 패턴 분석은 작업 종류와 멀티모달 사용패턴 사이의 상호관계를 제시한다. 또한 음성 발화와 그것과 관계있는 터치제스처 사이의 시간에 대하여 분석하였고, 이를 통하여 음성 발화 동안에 음성과 관계있는 터치제스처의 상대적인 발생 시간을 제시한다. 이러한 멀티모달 사용패턴 분석 결과를 반영하여 멀티모달 결합인식 시스템을 구현하고 심부름 영역에서의 몇 가지 작업으로 간단한 결합 실험을 하였다. 실험결과, 단일 모달리티를 사용했을 때 보다, 멀티모달 결합을 이용하여 해석한 경우, 사용자 의도에 대한 오인식률을 감소시킬 수 있었다. 효율적인 멀티모달 결합 알고리즘의 개발을 위해서는, 본 논문의 TV 가이드 영역에서의 작업과 유사하게 주어진 멀티모달 인터페이스에 대한 멀티모달 사용패턴에 대한 분석이 먼저 이루어 져야 할 것이다. 또한 본 논문에서 기술한 멀티모달 사용패턴 분석 및 멀티모달 결합 시스템은 효율적인 멀티모달 결합 알고리즘 연구를 위한 기초 자료가 될 것이다.|We analyzed multimodal usage patterns for TV-guide application scenarios (or tasks). In order to collect usage patterns, we implemented a multimodal usage pattern collection system having two input modalities : speech and touch-gesture. Fifty-four subjects participated in our study. Analysis of the collected usage patterns shows a positive corelation between the task type and multimodal usage patterns. In addition, we analyzed the timing between speech-utterances and their corresponding touch-gestures that shows the touch-gesture occurring time interval relative to the duration of speech utterance. Finally, we presented an experiment to show the effect of multimodal pattern analysis in multimodal fusion. In the experiment, we implemented a speech and touch-gesture fusion system, and evaluated the error rates of speech-only and multimodal fusion in errand application scenarios. The experimented result shows the error rate is reduced in multimodal fusion, compared with speech-only recognition. For developing efficient multimodal fusion algorithms on an application, the multimodal usage pattern analysis for the given application, similar to our work for TV guide application, have to be done in advance. The work in this thesis, analysis of multimodal usage patterns and multimodal integration recognition system, gives very useful and basic knowledge for further research on efficient multimodal fusion.