LLM 기반 교육용 챗봇의 사용성 평가 지표 개발 및 적용

Abstract

본 연구는 대형 언어 모델(LLM)을 기반으로 한 교육용 챗봇 서비스의 사용 성 평가 지표를 개발하고, 이를 검증하여 실무에 적용할 수 있는 디자인 가이 드라인을 제안하는 데 목적이 있다. 에듀테크(EdTech) 시장이 급속히 성장하고 있으며, LLM 기반 챗봇은 학습자에게 맞춤형 학습 경험을 제공하며 기존 교육 방식에 혁신을 가져왔다. 그러나, LLM 기반 교육용 챗봇의 특성을 반영한 신 뢰할 수 있는 사용성 평가 지표에 관한 연구는 미흡한 실정이다. 이에 본 연구는 네 가지 주요 연구 질문에 따라, 기존 AI 기반 챗봇의 사용 성 평가 지표를 분석하고, LLM 및 교육 분야에 특화된 평가 요소를 통합한 새로운 사용성 평가 지표 체계를 제안하였다. 연구는 선행 연구 분석, 어피니티 다이어그램, 전문가 그룹 검토, 설문 조사 및 탐색적 요인분석을 통해 진행되었 으며, 그 결과 LLM 기반 교육용 챗봇의 사용성 평가 지표는 기존 AI 기반 평 가 지표와 차별화된 요소를 포함하였다. 제안된 사용성 평가 지표 체계는 LLM 기반 교육용 챗봇 서비스 설계 및 개 발 단계에서 활용될 수 있도록 디자인 가이드라인 형태로 제시되었으며, 교육 서비스 품질 개선과 사용자 경험 향상에 기여할 수 있는 실질적인 도구를 제공 한다. 이러한 연구 결과는 향후 LLM 기술 기반의 다양한 산업 분야로의 확장 가능성을 시사하며, 연구 및 실무 적용에 중요한 참고 자료로 활용될 것이다.