Q 행렬 타당화를 위한 LLTM 활용 가능성 탐색

Abstract

우리나라의 기존 평가 방식인 고전검사이론과 문항반응이론은 학생의 현재 능력 수준을 파악하는 데에는 효과적이지만, 교수·학습의 개선을 위해 구체적인 정보를 제공하며 피드백을 하는 측면에서는 부족하다. 이에 따라 피험자의 강약점을 파악함으로써 구체적인 피드백을 제공할 수 있는 인지진단모형이 최근 주목받고 있다(이영주, 2014). 인지진단모형은 학생들의 지식구조의 상태와 과정능력을 측정하기 위해 만들어진 모형으로 학생들의 인지적 강점과 약점에 대한 정보를 제공한다(Leighton & Gierl, 2007). 인지진단모형은 학습에 필요한 사전지식들과 기능들을 몇 가지 인지요소의 조합으로 보는데, 학생들은 인지진단평가를 통하여 자신이 어떤 인지요소를 숙달하였고, 어떤 인지요소를 숙달하지 못했는지에 관하여 피드백을 받을 수 있다(Jang, 2008). 인지진단모형은 각 문항들과 문항이 측정하고자 하는 인지요소 간의 관계를 토대로 학생들의 각 문항에 대한 응답을 분석하여 개별학생들의 인지상태 프로파일을 제공한다(김희경 외, 2012). 따라서 목적에 적합한 인지진단모형에 따른 검사를 진행하기 위해서는 각 인지요소를 측정하기 적절한 문항을 사용해야할 뿐 아니라 인지요소와 문항의 관계가 올바르게 가정되어야 한다. 정확하지 않은 Q 행렬은 잘못된 피험자의 능력측정, 잘못된 모델 모수 측정, 좋지 못한 모델 적합성 등의 원치 않는 결과를 초래할 수 있으므로 인지진단모형이 성공적으로 활용되기 위해서는 Q 행렬의 타당성을 검증할 수 있는 적절한 방법의 제작이 매우 중요하다(Rupp & Templin, 2008; Feng, 2013). 본 연구의 목적은 Q 행렬 타당화 기법으로 LLTM(Linear Logistic Test Model)을 활용가능성을 확인하고자 실제 검사 자료에 대중적으로 쓰이는 자카드 계수, 중다회귀와 비교하여 LLTM의 수행을 확인해보았다. Q행렬 타당화 기법으로써 LLTM의 활용 가능성을 알아보기 위해 구체적으로 중학교 영어, 수학 실제 검사 자료에 적용하여 연구를 진행하였다. 중학교 3학년 영어검사와 중학교 2학년 수학 검사에 Q행렬 타당화를 진행하면서 자카드 계수, 중다회귀, LLTM을 적용하여 Q행렬 타당화 수행 결과를 비교해볼 수 있었다. 실제 자료를 분석해본 결과를 보면, 첫째, 영어 검사 자료는 총 5개의 인지요소로 구성되어 있고 Q 행렬 타당화를 진행한 결과, 자카드 계수, 중다회귀, LLTM 세 방법 모두 부적절한 인지요소가 없다는 일관된 결과를 보여 Q 행렬 타당화 기법으로써 LLTM을 활용할 수 있는 가능성을 알 수 있었다. 둘째, 총 8개의 인지요소로 구성되어 있는 수학 검사 자료를 Q 행렬 타당화 과정에서 자카드 계수, 중다회귀, LLTM을 사용한 결과, 자카드 계수에서만 인지요소 Q1이 부적절하다고 나왔으나 중다회귀와 LLTM은 일치한 결과를 보였다. 실제 검사 자료를 활용하여 Q 행렬 타당화를 하는 방법으로 LLTM의 가능성을 탐색하였다. 셋째, 실제 검사 자료에 Q 행렬 타당화 기법으로 LLTM을 사용해봄으로써 Q 행렬 타당화 기법으로써 LLTM의 활용가능성을 확인하였다. Q 행렬을 제작할 때, Q 행렬 타당화는 굉장히 중요한 과정이기 때문에 기존에 수행하던 Q 행렬 타당화 기법인 자카드 계수, 중다회귀 등과 같은 방법과 LLTM을 함께 사용하면 더 정교한 Q 행렬을 제작할 수 있을 것이다. 중학교 영어, 수학 검사 자료의 Q 행렬에 자카드 계수, 중다회귀, LLTM을 사용하여 Q 행렬 타당성을 확인한 결과 세 방법 모두 일관된 결과를 보여 LLTM의 Q 행렬 타당화 기법으로써의 가능성을 제시하였다.|Korea's existing evaluation methods such as classical examination theory and question-and-answer theory are effective in determining the current level of ability of subjects, but lack in terms of providing specific information and giving feedback to improve teaching and learning. As a result, cognitive diagnostic models that can provide specific feedback by identifying the subjects' strengths and weaknesses have recently attracted attention (Lee Young-joo, 2014). The cognitive assessment is an evaluation method designed to measure the status of students' knowledge structure and their ability to process and provides information on their cognitive strengths and weaknesses (Leighton & Gierl, 2007). The cognitive assessment considers the prior knowledge and functions required for learning as a combination of several cognitive factors, allowing students to receive feedback on which factors they have mastered and which ones they have not mastered (Jang, 2008). The cognitive assessment provides a profile of individual students' cognitive status by analyzing their responses to each question based on the relationship between each question and the cognitive factors they wish to measure (Kim Hee-kyung et al., 2012). Therefore, in order to proceed with the cognitive examination suitable for the purpose, the appropriate questions to measure each recognition element must be used, as well as the relationship between the recognition element and the question must be correctly assumed. The Q matrix of cognitive diagnostic tests is a matrix that indicates the relationship between the test questions and elements, and is produced by experts who know the test content based on theories and other practical considerations(Dibello et al., 2007). However, because the relationship between the cognitive component and the question is not clearly apparent, it is difficult to guarantee that the Q matrix made by the expert's decision is appropriate and may differ from the true Q matrix of the actual test. Nevertheless, cognitive assessment conducted at educational sites relies mainly on expert review levels for the rationalization of the Q matrix. Accordingly, studies were conducted on how to statistically justify the existing Q matrix, such as the calculation of the Jacard coefficant, which shows the similarity by dividing the size of the intersection by the size of the assembly, and the analysis of the multiple return conducted by Kim Sung-hoon (2005) and Buck & Tatsuoka (1998) to justify the Q-matrix. Inaccurate Q matrices can have unwanted consequences, such as capability measurements of the wrong subjects, incorrect model parameters measurements, poor model fit, and so on, so it is very important to create an appropriate way to verify the validity of the Q matrix for successful use (Rup & Templin, 2008; Feng, 2013). In this study, we would like to present the availability of the Linear Logistic Test Model (LLTM) as a way to examine the validity of the Q matrix and compare its performance with the existing methods.