The Effectiveness of Enhanced Captions on L2 Collocation Learning: An Eye-tracking Study

Abstract

In second language (L2) learning, the increasing use of multimedia resources has sparked growing interest in the role of captions in enhancing collocation learning. However, despite many studies focusing on the general benefits of captions for language learning, little is known about the impact of the order in which captions are presented. This research explored the impact of the order of enhanced caption presentation on L2 learners’ collocation learning, using eye-tracking technology to monitor visual attention and analyze cognitive processing during video viewing. A total of sixty participants were divided into two experimental groups, each watching the same video twice under different caption conditions: one group watched English captions with enhanced target collocations first and non-captions second, while the other group watched non-captions first followed by the captioned video with enhanced target collocations. A pretest (before the experiment), comprehension questions (during the experiment), and an immediate posttest (after the experiment) were administered to access their prior knowledge and subsequent learning. Participants’ eye movements were tracked with Tobii Pro Lab (version 1.61) and three eye-tracking measures (fixation counts, number of visits, and total fixation duration) were collected and analyzed. The results indicated significant differences in learners’ visual attention and collocation learning based on the order of caption presentation. That is, participants in the group who watched the non-captions first followed by the English captions with enhanced collocations outperformed than another group who watched the English captions containing enhanced collocations first and non-captions second in terms of comprehension questions scores and immediate collocation posttest scores. Furthermore, significance differences between the two groups on three eye-tracking measures revealed that the group who watched the non-captions first followed by the English captions featuring enhanced collocations leads to significantly higher attention allocation and encourages more active cognitive processing of the target collocations. Additionally, the number of visits to the target collocations was the only one that showed a significant positive correlation with the posttest performance, while fixation counts and total fixation duration found no significant importance related to posttest scores. This study enriches the research on the order of captions in language learning by demonstrating how the order of captions with enhanced collocations affects learners’ attention, video comprehension, and collocation learning. The findings have significant implications for the design of instructional videos and multimedia learning materials, indicating that careful consideration of the order of caption presentation can enhance language learning outcomes.|제2언어(L2) 학습에서 멀티미디어 자료의 활용이 증가함에 따라, 자막이 연어(collocation) 학습을 촉진하는 데 미치는 역할에 대한 관심이 높아지고 있다. 그러나 자막이 언어 학습에 미치는 일반적인 이점에 대한 연구는 많이 이루어졌지만, 자막 제시 순서가 학습에 미치는 영향에 대해서는 거의 알려져 있지 않다. 본 연구는 자막 제시 순서가 L2 학습자의 연어 학습에 미치는 영향을 탐색하고자 하였으며, 실험 중 시청자의 시각적 주의와 인지적 처리를 분석하기 위해 시선추적(eye-tracking) 기술을 활용하였다. 총 60명의 참가자는 두 실험 집단으로 나뉘었으며, 동일한 영상을 서로 다른 자막 조건으로 두 번 시청하였다. 한 집단은 먼저 영어 자막(강조된 목표 연어 포함)을 시청한 후 자막 없이 시청하였고, 다른 집단은 자막 없이 먼저 시청한 후 영어 자막(강조된 연어 포함)으로 시청하였다. 실험 전 사전 테스트(pretest), 실험 중 이해도 질문, 실험 직후 사후 테스트(posttest)를 실시하여 참가자들의 배경지식과 학습 성과를 평가하였다. 참가자의 시선 데이터는 Tobii Pro Lab (버전 1.61)을 통해 수집하였고, 시선 고정 수(fixation counts), 방문 횟수(number of visits), 총 시선 고정 시간(total fixation duration)의 세 가지 지표를 분석하였다. 연구 결과, 자막 제시 순서에 따라 학습자의 시각적 주의 및 연어 학습에 유의미한 차이가 나타났다. 특히 자막 없이 먼저 시청하고 난 후 강조된 연어가 포함된 영어 자막을 본 집단이, 그 반대 순서를 따른 집단보다 이해도 질문과 연어 사후 테스트 모두에서 더 우수한 성과를 보였다. 또한 세 가지 시선 추적 지표 모두에서 두 집단 간 유의미한 차이가 확인되었으며, 자막 없이 먼저 시청한 후 강조된 연어 자막을 시청한 집단이 목표 연어에 더 많은 주의를 기울였고, 보다 적극적인 인지 처리를 수행한 것으로 나타났다. 이와 더불어, 목표 연어에 대한 ‘방문 횟수’만이 사후 테스트 성과와 유의미한 정적 상관관계를 나타냈으며, 고정 수 및 총 고정 시간은 유의미한 관련성을 보이지 않았다. 본 연구는 자막 제시 순서가 L2 학습자의 시선 집중, 영상 이해 및 연어 학습에 어떠한 영향을 미치는지를 실증적으로 제시함으로써, 외국어 학습 맥락에서 자막 순서에 대한 기존 연구를 심화시켰다. 본 연구 결과는 교육용 영상 및 멀티미디어 학습 자료의 효과적인 설계에 실질적인 시사점을 제공하며, 자막 제시 순서에 대한 세심한 고려가 언어 학습 성과를 높이는 데 기여할 수 있음을 시사한다.