딥러닝 기반 보완대체의사소통 상징의 다의성을 반영한 상징 시퀀스의 한국어 문장 변환

Abstract

소셜 미디어, 검색 엔진, 전자 상거래 등과 같은 다양한 온라인 서비스 플랫폼의 발달은 사람들이 다양한 비대면 서비스와 정보에 쉽고 빠르게 접근할 수 있도록 하였다. 이는 스마트 기기를 통하여 더더욱 빠르게 확산하고 있으며, 근래 chatGPT와 같은 거대 언어 모델의 출현과 대중화는 사람들의 편의를 더욱 증진하고 있다. 하지만 신체적, 정신적 장애로 인해 언어의 활용에 어려움을 겪는 사람들을 이러한 기술의 발전에서 소외되어 있다.

보완대체의사소통(Augmentative and Alternative Communication; AAC)은 언어적 의사소통이 어려운 사람들을 위한 비언어적 의사소통 보조 수단을 의미한다. 그중 그림 상징을 통하여 의사소통을 지원하는 AAC 그림 상징 방식은 국내에서 치료 현장 및 의사소통에서 가장 많이 활용되고 있다.

본 논문에서는 AAC 그림 상징의 다의성을 반영하여 AAC 상징 시퀀스를 한국어 문장으로 변환하는 모델을 제안한다. 제안하는 모델은 크게 AAC 그림 상징의 다의성 해소 모델과 상징 어휘 시퀀스의 한국어 문장 변환 모델의 두 모델로 구성된다. AAC 그림 상징의 특징인 다의성을 AAC 상징 시퀀스의 문장 변환 과정에 반영하기 위하여 기존 1개의 상징 이미지와 이에 따른 1개의 상징 어휘로 구성되던 AAC 그림 상징 데이터 구조를 n개의 상징 어휘를 갖도록 확장한 다중의미 AAC 상징데이터 구조를 제안하고 마스킹 방식 사전학습 언어 모델에 기반한 AAC 그림 상징의 다의성 해소 모델을 구축하였다. 상징 어휘 시퀀스의 한국어 변환 모델은 기존 연구에서 제안된 시퀀스-투-시퀀스(Sequence-to-Sequence) 모델을 통해 구축되었으며 BERT, BART, GPT-2, GPT-3와 같은 대규모 언어 모델에 기반한 임베딩 레이어 구성을 통하여 성능을 향상하였다. 최종적으로 AAC 그림 상징의 다의성을 반영한 상징 시퀀스의 한국어 변환 모델을 제안하며 BLEU(Bilingual Evaluation Understudy) 점수를 통한 검증으로 해당 모델이 인간 전문가의 AAC 상징 시퀀스의 한국어 문장 변환 성능에 대조해 매우 우수한 품질의 적절하고 유창한 변환 성능을 보임을 확인하였다.|The development of various online service platforms such as social media, search engines, and e-commerce has made it easy and quick for people to access various non-face-to-face services and information. Due to the spread of smart device use and the popularization of large language models such as chatGPT, non-face-to-face services are spreading rapidly and are enhancing people's convenience. However, people with communication disabilities have a disability in use of these technologies.

Augmented and Alternative Communication(AAC) refers to a non-verbal communication strategy to support people with difficulty in verbal communication. In particular, graphical AAC symbol are most widely used in communication therapy and training.

In this thesis, we proposed a system that converts the AAC symbol sequence into Korean sentences by considering the polysemy of AAC graphic symbols. The proposed system consists of two models: a model for resolving the polymorphism of AAC graphic symbols and a Korean sentence conversion model for symbol expression sequences.

In order to reflect the polysemy of AAC graphic symbols, we designed a multi-meaning AAC symbol data structure having n symbol expressions for each AAC symbol, and established a masking based pre-learning language model to resolve the polysemy of AAC graphic symbols. The Korean sentence conversion model based on sequence-to-sequence models proposed in previous studies. We improved the performance of the models through embedding layers based on large language models such as BERT, BART, GPT-2, and GPT-3.

Finally, we evaluated BLEU(Bilingual Evaluation Understudy) scores for verifying the proposed conversion system that reflects the polysemy of AAC graphic symbols. The resulting BLEU scores shows very good quality and fluent conversion performance compared to the human experts' performance of Korean sentence conversion from AAC symbol sequences.