다분 문항반응모형에서 사후기대추정법의 능력모수 추정 정확성에 관한 연구

Abstract

본 연구는 다분 문항으로 이루어진 검사에서 피험자의 능력을 추정하기 위한 방법 중에서, 검사 총점을 고려한 사후기대추정법(EAPss)이 문항별 반응양식을 고려한 사후기대추정법(EAPss)에 비하여 상대적으로 어떠한 기능을 보이는가를 모의실험을 통하여 살펴보고자 한다. 수리적인 특성으로 인하여 EAPrp가 EAPss에 비하여 조금 더 정확한 능력을 추정하지만, EAPss의 경우 원점수와 일대일로 대응하는 속성으로 인하여 일반 대중의 이해가 용이하다는 장점을 갖는다. 이 연구에서는 EAPss의 진모수 복원력이 EAPrp와 실제로 어느 정도 차이가 나는지를 살펴보고자 하였다. 만약 실질적 차이가 존재하지 않는다면, 대중의 이해를 돕고 거부감이 덜할 수 있는 IRT 베이지안 능력추정 방식으로서 EAPss의 사용 선택을 정당화할 수 있을 것으로 기대한다. 연구에서 적용되는 다분 문항반응모형은 등급반응모형(GRM)과 일반화부분점수모형(GPCM)이며 두 EAP 방법이 다양한 연구조건에서 수행하는 기능을 파악하기 위해 ‘검사 길이’, ‘응답 문항 범주 수’, ‘피험자 능력분포’ 등 다양한 조건을 추가하여 연구를 수행한다. 연구는 크게 두 가지 측면으로 구성되어 수행되며 두 측면은 측정학적으로 서로 상호보완적인 기능을 한다. 첫째, 주변(marginal)분포에 관한 연구를 수행한다. 이를 통해 두 EAP 방법의 유사성과 진능력 모수에 대한 복원력을 능력 수준에 관계없이 피험자 전체에 대하여 비교할 수 있다. 보다 다양한 형태의 상황속에서 모형의 적용가능성을 탐색하기 위하여 ‘모형의 종류’, ‘검사 길이’, ‘응답 문항 범주 수’, 및 ‘피험자 능력분포’를 다양하게 조건화하여 두 EAP 방법이 어떠한 양상을 보이는지 탐구한다. 둘째, 조건부(conditional) 분포에 관한 연구를 수행한다. 능력모수를 17개의 구간으로 나누어 각 구간 즉 다양한 능력 수준대별로 EAPss와 EAPrp의 수행을 비교한다. 이를 위해 ‘모형’, ‘검사 길이’, 및 ‘응답 문항 범주 수’를 다양하게 조건화하여 두 EAP 방법에 따른 능력 수준별 분포는 어떠한 양상을 보이는지 탐구한다. 먼저 모의실험을 통해 산출한 두 EAP 추정치들의 주변 분포에 대한 결과는 다음과 같다. 첫째, 전반적으로 EAPrp가 EAPss에 비하여 조금 더 적은 MSE, SB, VAR 값을 산출하였지만 그 차이는 소수점의 자리에서 발생하는 미미한 차이였다. 둘째, 베이지안 능력모수 추정을 위한 사전정보의 다양한 사용은 능력모수 추정의 정확성에 영향을 미쳤으며 균일분포를 사전정보로 활용하는 것보다 표준정규분포나 피험자분포를 사전분포로 재사용하는 것이 상대적으로 더 안전한 선택임을 확인하였다. 셋째, 베이지안 능력모수 추정을 위한 피험자 분포 중에서 정규분포 형태일 때 능력모수 추정의 정확성이 상대적으로 높은 것으로 확인되었다. 넷째, 문항 범주와 검사 길이가 증가하면 EAPrp와 EAPss를 사용한 능력모수 추정치의 MSE값은 줄어든다. 마지막으로 GRM과 GPCM 적용에 따라 두 EAP 능력추정치의 정확도에 차이가 있었으며 GPCM을 사용한 경우가 GRM을 사용한 경우보다 조금 더 정확하게 진능력모수 복원력을 보여주었다. 능력 수준별 연구에 대한 두 EAP 능력모수 추정치의 결과는 주변 분포에 대한 결과와 매우 유사하다. 능력 수준별 분포 연구결과를 통해 보다 자세히 확인할 수 있는 것은 다음과 같다. 표준정규 사전분포를 사용한 경우, 두 EAP 능력추정 방법 모두 [-2, 2]의 능력범위에서 0에 가까운 SB와 VAR 값을 보였다. 다만, 균일분포 사전분포를 사용한 경우, 양극단에 위치한 능력수준의 피험자를 더 정확히 추정하는 것으로 나타났다. 본 연구는 EAP 능력추정 방법을 상관계수 및 MSE 등을 통하여 비교하였으며, 연구의 결과 그 차이는 매우 미미하였다. 따라서 실제 검사 프로그램 운영 하에서 EAPss가 가능한 선택임을 확인 및 시사해줌과 더불어 여러 검사 상황에서 선택 가능한 적절한 ‘모형’, ‘검사 길이’, ‘응답 문항 범주 수’, ‘사전분포’, 및 ‘피험자 분포’를 경험적으로 확인해 주고 있다.| This study investigates the accuracy of IRT ability parameter estimate based on summed score EAP method(EAPss) under the polytomous IRT model through several simulation conditions, comparing traditional EAP method based on item response pattern(EAPrp). The former has an advantage in that it can produce a convincing scale score to the public by estimating one-to-one ability estimates with the number correct scores. However, EAPss also has an disadvantage, ignoring the information which the item response pattern has. Even though EAPss has the problem of losing information, this study wants to show the accuracy of EAPss is similar to EAPrp. For this, the study compares the accuracy of recovery of true ability parameter under the several simulation conditions, and presents the results with the value of MSE, SB, and VAR. The result shows that EAPrp produces a little bit smaller value of MSE, SB, and VAR than EAPss, however the difference happens at decimal places. Moreover, the results of both two EAP have the close value of 0 on the ability parameter scale from ?2 to 2. Therefore, the results imply that the use of EAPss can be the promising alternative under the operation of an actual testing program.