인지진단평가를 위한 머신러닝의 적용 가능성 탐색: 데이터 크기와 이상적 문항반응 유형을 중심으로

Abstract

In this study, we wanted to apply Machine Learning, a research method that has received much attention recently, to Cognitive Diagnosis Assessment(CDA), which is part of the educational evaluation. By comparing the DINA, one of the Cognitive Diagnosis Models(CDM), and machine learning, we verified the performance of the examinees' ability parameter estimation, based on which, we explored the possibility of using machine learning for CDM. To proceed with the research, we organized two data analysis. First, the real data(English test) of 3,000 examinees were used to analyze the consistency between the DINA model and machine learning on the estimation of the examinees’ ability parameters. The English test consisted of 18 items and had five cognitive attributes, which are ‘recognition’, ‘understanding’, ‘inference’, ‘assessing’ and ‘configuring’. Second, the estimates of item parameters extracted from the real data were used to generate simulation data for use as test data. The simulated data showed 3,000 responses to 18 items in total. The examinee's ability parameters, which are assumed by machine learning, refer to the proficiency of each of the five cognitive attributes and the pattern of mastering cognitive attributes. First, to check the applicability of machine learning, we estimated examinees parameters with real data by using the DINA model. And the results were used as train data and test data to apply various machine learning and examine the consistency between the DINA model and the examinees' ability parameter estimations of machine learning. According to the analysis of real data, the larger the data size was, the higher the consistency between the DINA model and machine learning was found to be at least 85% to 100%, indicating that the machine learning has a high potential for utilization. However, since it is difficult to secure item responses and estimated examinees' parameters as training data when trying to apply machine learning for CDM after making tests at real education scenes, we wanted to see if training data could be replaced by an ideal item response pattern based on Q-matrix. At this time, we studied whether the results of the examinees' ability estimations differ depending on the size of the ideal item response pattern, which is the training data. As a result, it resulted that the size of the training data does not have a significant impact on accuracy so that the number of combinations of theoretical cognitive attributes could be used without artificially increasing the ideal item response pattern. Finally, in order to verify the accuracy of estimating the examinees' ability parameter according to machine learning, the simulation data were used to confirm the restoration of the true ability parameters. After analyzing the accuracy of each machine learning through simulation data, it was found that k-nearest neighbors and gradient boosting are the most suitable. Existing CDM required large samples to estimate items and examinee parameters, so there was a limitation in applying them to real education scenes. However, the main significance of this study is if when a reasonable Q-Matrix exists, individual students can be diagnosed based on ideal item responses and machine learning without existing test data. It is also confirmed that the results of the diagnosis using machine learning are not much different from the estimates of the examinees’ ability parameters using the DINA model and that the resiliency of the true ability parameters is similar. Given that most of real education scenes are small samples, further research on the application of different cognitive diagnostic models and various cognitive diagnostic assessment context is needed in that machine learning models can be an alternative to CDM. |본 연구에서는 최근 많은 관심을 받는 연구 방법인 머신러닝을 인지진단평가에 적용해보고자 하였다. 인지진단모형 중 하나인 DINA 모형과 머신러닝과의 비교를 통해 피험자 능력추정 측면에서의 수행을 확인하였으며, 이를 바탕으로 인지진단평가를 위한 머신러닝(machine learning)의 활용 가능성을 탐색해보았다. 연구의 진행을 위하여, 두 가지 자료에 대한 분석을 수행하였다. 첫째, 피험자 3,000명이 응답한 실제 영어 검사자료를 사용하여 DINA 모형과 머신러닝의 피험자 능력 모수 추정의 일치도를 분석하였다. 검사는 총 18문항으로 구성되어 있으며 총 5개의 인지 요소를 가지고 있다. 5개의 인지 요소는 ‘인식하기’, ‘이해하기’, ‘추론하기’, ‘평가하기’, ‘구성하기’이다. 둘째, 실제 검사자료(real data)에서 추출한 문항 모수 추정치를 생성 모수로 활용하여 모의실험 자료(simulation data)를 생성하여 평가 자료(test data)로 활용하였다. 모의실험 자료는 총 18개의 문항에 대한 응답 반응 3,000개이다. 머신러닝으로 추정되는 피험자 능력 모수는 5개 인지 요소 각각의 숙달 여부와 인지 요소 숙달 패턴을 의미한다. 먼저, 머신러닝의 적용 가능성을 확인하기 위하여 실제 영어 검사 자료를 활용하여 인지진단모형인 DINA 모형으로 피험자 모수를 추정하였다. 그리고 이를 훈련 자료(train data) 및 평가 자료(test data)로 사용하여 머신러닝을 적용하였으며, DINA 모형과 머신러닝 간의 능력 모수 추정에 대한 일치도를 살펴보았다. 실제 검사자료 분석 결과, 자료의 크기가 클수록 분류 일치도가 높은 것으로 나타났으며 머신러닝과 DINA 모형의 일치도가 최소 85%에서 최대 100%로 나타나 머신러닝의 활용 가능성이 높은 것으로 판단할 수 있었다. 그러나 실제 교육 현장에서 인지진단평가를 위한 머신러닝을 적용하고자 할 때 실제 학생들의 문항 반응 자료 및 인지진단모형으로 추정한 인지 요소 숙달 여부를 훈련 자료로 확보하기 힘들다는 어려움이 있기에, 본 연구에서는 Q-행렬을 기반으로 한 이상적 문항 반응 유형으로 훈련 자료를 대체할 수 있는지 살펴보고자 하였다. 이때, 훈련 자료인 이상적 문항 반응 유형의 크기에 따라 피험자 능력 추정의 결과에 차이가 있는지를 확인하기 위하여 실제 검사자료를 평가 자료로 활용하였다. 분석 결과, 훈련 자료의 크기는 능력 모수 추정에 큰 영향을 미치지 않는 것으로 나타나 이상적 문항 반응 유형을 인위적으로 늘릴 필요 없이 이론적인 인지 상태의 조합의 수를 사용하면 되는 것으로 판단하였다. 마지막으로, 머신러닝 방법에 따른 피험자 능력 모수 추정의 정확성을 확인하기 위하여 모의실험 자료를 활용하여 진능력모수, 즉 참값(True)인 진숙달 여부의 복원을 살펴보았다. 모의실험 자료를 통해 머신러닝 방법에 따른 정확도를 분석해본 결과, k-최근접 이웃(k-nearest neighbor)과 그래디언트 부스팅(gradient boosting)이 가장 적합한 것으로 나타났다. 기존의 인지진단모형은 문항 모수 및 피험자 모수를 추정하기 위해서 큰 표본이 필요하였기에 실제 교육 현장에 적용하는 데 한계점이 있었다. 하지만 타당한 Q-행렬이 존재한다면 기존의 검사 자료가 없더라도 이상적 문항 반응과 머신러닝을 활용하여 개별 학생을 진단할 수 있다는 것을 제안하였다는 점에서 본 연구의 주된 의의가 있다. 머신러닝을 활용한 진단 결과는 DINA 모형을 사용한 피험자 능력 모수 추정 결과와 크게 다르지 않으며 진능력모수 복원력도 비슷하다는 것을 확인하였다. 대부분의 교육 현장이 소표본인 상황을 고려한다면 머신러닝이 인지진단모형의 대안이 될 수 있다는 점에서 다른 인지진단모형과의 비교 및 다양한 인지진단평가 상황에 대한 추가적인 연구가 필요하다.