로봇에서의 멀티모달 결합을 위한 표준 인지언어의 설계

Abstract

멀티모달 상호작용 기술과 관련하여, 여러 채널을 통한 입력 정보의 인지 및 통합 결과를 동일한 형식으로 기술할 수 있는 표준 멀티모달 입력 기술 언어를 설계하였다. 본 논문에서는 로봇이 가진 다양한 입력 모달리티를 이용하여 사용자의 의도를 정확하게 파악하기 위한 멀티모달 인터페이스 개발을 위하여, 로봇의 다양한 입력 장치나 인지 모듈에서의 개별적인 인지 결과 기술 양식과 각 입력 정보를 통합한 멀티모달 인지 결과를 XML 기반으로 통일하여 사람과 로봇의 상호작용을 위한 멀티모달 입력 정보 기술언어인 ROMMA의 설계에 대하여 기술한다. ROMMA는 RObot MultiModal Annatioan markup language의 약어로 W3C의 멀티모달 인터랙션 그룹에서 멀티모달 입력 정보 기술언어의 표준안으로 제정된 EMMA를 기본으로 로봇 인터페이스에 맞게 재구성한 것으로, 새로운 모달리티 및 로봇의 취할 수 있는 작업 영역 추가와 관련하여 확장성을 고려하여 설계하였으며 본 논문에서는 작업 영역과 관련하여 심부름을, 모달리티와 관련하여 감정 모달리티에 대한 확장 엘리먼트를 정의하였다. 또한 다양한 모달리티의 인지 결과 기술 양식을 통일하여 음성 인식, 제스처 인식, 감정 인식 등의 각 인지 모듈의 연구 개발이 멀티모달 통합 연구와 상호 독립적으로 이루어 질 수 있도록 한다.|We proposed ROMMA (RObot MultiModal Annotation markup language), a XML based modality input description language for human-robot multimodal interaction. The independency between various robot input modalities such as speech, touch gesture, emotion, face recognition and posture, and multimodal integration is very important in developing robot systems. ROMMA provides a unified way to describe the recognition results of different input modalities and the multimodal integration result. By adopting ROMMA, the modification, enhancement, and substitution of an input modality module does not require any change of the other recognition modules and the integration module. ROMMA is developed from EMMA, which is recommended by W3C as a multimodal input annotation language for multimodal web interfaces, by extending to robot domain. ROMMA consists of two parts: the basic elements that define the ROMMA structure and the common recognition features of different input modalities, and the extended elements that define the specific features to each input modality and the specific task domain. ROMMA can easily extend for newly introduced modalities and task domains. In this paper, we explain how to extend ROMMA for an emotion recognition and the errand task.