베이지안 네트워크의 능력모수 복원에 관한 모의실험 연구

Abstract

본 연구의 목적은 인지진단 모형 중 하나인 베이지안 네트워크를 적용하한 모의실험 연구를 통하여 피험자 능력추정의 정확성을 확인하는 것이다. 이를 위해 3,000명이 응답한 실제 수학 검사자료를 사용하여 모의실험 연구를 실시하였다. 검사는 총 20문항으로 대수학과 삼각함수라는 두 개의 인지요소를 가지고 있다. 실제 검사 자료를 활용하여 생성문항모수(CPT)를 추출하고, 이원정규분포를 활용하여 진능력모수를 생성하였다. 모의실험 요인으로는 ‘검사의 길이’와 ‘인지요소 간 상관 정도’를 고려하였다. 베이지안 네트워크에서 추정되는 능력모수란 각 인지요소 간 숙달 확률 및 숙달 여부를 의미한다. 베이지안 네트워크를 통해 추정한 능력모수의 정확성을 확인하기 위해 진능력모수 복원 관점에서 진숙달확률과 추정된 숙달확률 간의 순위 상관계수와 RMSE, 진숙달여부와 추정된 숙달여부 간의 분류정확도를 비교하였다. 연구 결과는 다음과 같다. 첫째, 검사 길이가 길어질수록 진숙달확률과 추정된 숙달확률 간 순위 상관계수가 높아지고 RMSE가 낮게 나타났다. 마찬가지로 검사 길이가 길어질수록 진숙달여부와 추정된 숙달여부의 분류정확도가 높아졌다. 이를 통해 베이지안 네트워크를 적용한 능력모수 추정 시 검사 길이가 길어질수록 능력모수를 정확하게 복원한다는 것을 알 수 있다. 둘째, 인지요소 간 상관이 높아질수록 진숙달확률과 추정된 숙달확률의 RMSE는 약간씩 줄어드는 것으로 나타났으나 일정한 패턴은 보이지 않았다. 마찬가지로 인지요소 간 상관 정도에 따라 진숙달여부와 추정된 숙달여부의 분류정확도는 약간의 변화를 보였으나 일정한 패턴은 보이지 않았다. 이를 통해 베이지안 네트워크를 적용한 능력모수 추정에서 인지요소 간 상관 정도는 진능력 복원에 별다른 영향을 미치지 않는다고 볼 수 있다. 본 연구에서는 베이지안 네트워크를 적용한 모의실험 연구를 통하여 피험자 능력모수 추정의 정확성을 진능력모수 복원 관점에서 확인하고자 하였다. 진숙달여부와 추정된 숙달여부의 분류정확도가 상당히 높은 것으로 나타났으며, 이러한 결과는 베이지안 네트워크를 활용한 능력 추정이 피험자의 다차원적인 능력을 비교적 정확하게 추정하는 것을 확인하는 계기가 되었다. 나아가 교육측정분야에서 피험자의 능력모수 추정 시 베이지안 네트워크의 적용 가능성을 확인할 수 있었다. 향후 베이지안 네트워크는 진단평가 또는 형성평가에서 피험자의 정확한 능력 또는 문항 모수 추정 시에 적용될 수 있으며, 피험자의 학업성취 프로파일 특성을 분석하는데 활용할 수 있을 것이다.|This study attempted to confirm examinee’s accuracy of the estimation for ability parameters utilizing the bayesian network through a simulation study. For this, actual test data acquired from 3,000 respondents was used. The test is composed of a total of 20 problems including 10 problems about cognitive attribute-algebra(A1) and 10 problems about trigonometry(A2). Actual data was utilized to extract generating item parameters(CPT) and utilize binary normal distribution and create true ability parameters. The created true ability parameters were utilized to estimate simulated examinee’s ability parameters by differentiating the ‘correlations between cognitive attributes’ and ‘test length.’ The ability parameter estimated in the bayesian network means an attribute proficiency ratio and mastery and non-mastery of cognitive attribute to each cognitive attribute. In an attempt to evaluate the accuracy of the estimated ability parameters applying the bayesian network, the true ability parameters and estimated ability parameters were compared, and rank-order correlation coefficients and mastery and non-mastery of cognitive attributes classification accuracy between the attribute proficiency ratios were calculated. The findings are as follows: First, when it comes to the estimation accuracy of the ability parameters according test length, the longer the test length became, the higher the correlation coefficient between the attribute proficiency ratios of the true ability parameter and the ability parameter showed. Likewise, the longer the test length became, the higher the classification accuracy ratios of the mastery and non-mastery of cognitive attributes of the true ability parameter and the mastery and non-mastery of cognitive attributes of the estimated ability parameter showed. Through this, the estimation of ability parameters applying the bayesian network was confirmed to be higher in estimation accuracy as the test length becomes longer. Second, when it comes to the accuracy of parameter estimation according to the correlation between cognitive attributes, the attribute proficiency ratio of the true ability parameter and ability parameter did not have a big difference according t the correlation between cognitive attributes. Likewise, the mastery and non-mastery of cognitive attributes of the true ability parameter and the classification accuracy of mastery and non-mastery of cognitive attributes of the estimated ability parameter did not show a regular pattern according to the correlation. Through this, it was confirmed that the correlation between cognitive attributes did not have a big influence on the accuracy of the estimation for ability parameters. Through these results, the accuracy of the estimation for ability parameters could be confirmed by utilizing the bayesian network.