A Comparison of MCMC and MMLE/EM Algorithms for Fixed Item Parameter Calibration

Abstract

본 연구는 FIPC(Fixed Item Parameter Calibration) 방법으로 두 개의 검사간 문항모수 연계를 실시하고자 할 때 MCMC(Markov Chain Monte Calro) 알고리듬과 MMLE/EM(Marginal Maximum Likelihood Estimation using the Expectation-maximization) 알고리듬의 수행 결과를 비교하고자 하였다. 이들의 수행을 비교해봄으로써, MMLE/EM 알고리듬이 적용되기 어려운 상황에서 MCMC를 사용하여 IRT 동등화를 보다 쉽게 확장할 수 있을 것으로 기대한다.

본 연구에서는 다음과 같은 연구문제를 설정하였다.

1. 표본 크기에 따른 두 방법의 동등화 수행 결과를 비교한다.

2. 공통 문항 수에 따른 두 방법의 동등화 수행 결과를 비교한다.

3. 능력 분포에 따른 두 방법의 동등화 수행 결과를 비교한다.

4. 두 방법의 RMSE 값의 차이가 유의미한 지 확인한다.

본 연구를 위하여 각 조건에 맞는 문항 자료들을 생성하였다. 시뮬레이션 연구를 위한 시뮬레이션 조건으로 두 집단의 피험자 수(N=500, 2000)와 공통문항의 수(CI=10, 20, 40), 마지막으로 능력분포(N(0.0, 1.0), N(.25, ), N(.50, ))를 고려하였다. 각 조건에서 10개의 자료를 반복적으로 생성하여 두 동등화 방법을 각각 적용하였고, 그 결과 문항 모수를 추정하였다. 각 조건에서 두 방법의 수행력을 비교하기 위하여 상관계수와 RMSE 값을 산출하여 비교하였고, 산출된 RMSE 값의 차이가 유의미 한지 판단하기 위하여 t 검증을 실시하였다.

본 연구를 통해 얻은 결과를 연구문제에 따라 정리하면 다음과 같다.

1. 표본크기가 500에서 2000으로 증가함에 따라서 MCMC와 MMLE/EM 알고리듬 모두 더 좋은 수행력을 보였으며, 두 방법 모두 높은 상관계수와 작은 RMSE 값을 산출하였다.

2. 공통문항의 수가 10, 20, 40으로 변화함에 따라서 MCMC와 MMLE/EM 알고리듬 모두 더 좋은 수행력을 보였으며, 두 방법의 결과 또한 유사했다.

3. 주어진 세 가지 능력분포에서 두 방법이 유사한 결과를 산출했으며, 능력분포에 따른 차이는 미미했다.

4. 각 조건별로 RMSE 값의 차이가 유의미한지 검증하기 위한 t 검증의 결과, 변별도 모수에서 유의미한 차이가 발견되었으며, 공통문항의 수가 40개 일 때 곤란도, 변별도 모수 모두에서 유의미한 차이가 발견되었다.

위 결과를 통하여, 두 개의 알고리듬이 문항 모수 연계를 위한 유용한 도구로 사용될 수 있음을 확인하였다. 또한 다양한 모형, 시뮬레이션 조건, 사전 분포 등을 고려한 후속 연구가 수행될 필요가 있다.