시뮬레이션 연구를 통한 일반화부분점수모형과 등급반응모형의 적합도 비교

Abstract

본 연구는 다분적으로 채점되는 문항으로 이루어진 학업성취도 및 심리 검사 결과를 분석 할 때 주로 사용되고 있는 GPCM과 GRM 두 모형이 실질적으로 자료를 설명하는 힘 즉, 적합도에 있어서 어떤 차이를 가지고 있는지 밝히는 데 있다. 이를 위하여 시뮬레이션 연구를 통하여 두 모형 간의 모형 적합도에 있어서의 차이점을 살펴보았다. 각 모형을 이용하여 다양한 수준의 조건에서 자료들을 생성하고, 동일 자료에 대하여 두 모형 모두를 이용하여 분석하였다. 이러한 결과를 이용하여 다음과 같은 연구가 수행되었다.

1. 문항 적합도 지수(item fit index)를 사용하여 각 모형이 자신에 의해 생성된 자료들을 문항 수준에서 다른 모형에 비해 보다 잘 적합할 수 있는지를 살펴보는데 있어서 최근 제1종 오류를 통제하는 측면과 통계적 검정력 측면에서 가장 우수한 문항 수준 적합도 지수인 S-X2 지수를 사용하였다. 2. 전체 검사 수준에서의 모형-자료 적합도(model-data overall fit)를 구하여, 두 모형이 자료의 적합에 있어서 유의미한 차이가 있는지 살펴보고, 각 자료에 대한 관찰된 원점수 분포와 적용된 모형에 의해 재생산된(reproduced) 원점수 분포를 비교하여 CS1의 값과 S-X2를 활용한 CS2를 살펴보았다.

본 연구를 위해 GRM과 GPCM으로 다분 문항 자료를 생성하였다. 시뮬레이션 연구를 위한 시뮬레이션 조건은 두 개의 검사 길이(I=10, 20)와 두 개의 표본크기(N=500, 1,000)를 고려하였다. 각 조건에서 50개의 자료를 반복적으로 생성하여 두 모형을 각기 적용하여 문항 모수를 추정하였다. 각 조건의 개별 자료에 대하여 두 모형을 적합한 결과를 바탕으로 S-X2와 검사 전체 적합도 지수인 CS1과 CS2를 계산하여 그 결과를 상호 비교하였다.

본 연구의 결과를 요약하면 다음과 같다.

1. S-X2를 통해 살펴 본 결과 문항 적합도 수준에서 생성모형과 분석모형이 동일할 때 경험적 제1종오류가 유의수준 .05와 비슷하게 나타났다. 2. CS1과 CS2를 통하여 카이자승 검정을 실시한 결과 제1종 오류의 통제 라는 측면에서 좋지 않은 결과가 산출되었다. 이를 통해 CS1 통계지표의 개선이 필요함을 알 수 있었다. 3. CS2의 결과가 .05와 비슷하지는 않으나 CS1의 결과보다는 더 합리적인 결과를 도출하였다. 4. 문항 적합도 지수를 살펴보았을 때 GPCM이 GRM보다 상대적으로 주어진 자료가 어떤 모형으로 생성되었는가에 관계없이 보다, 설명력 및 적합도가 더 높았다. | This study set out to investigate differences, if any, in fit or power to practically explain data between GPCM and GRM, which are the two models usually used to analyze the results of academic achievement tests or psychological tests comprised of items to be scored polytomously. For that purpose, the investigator examined differences in model fit between the two models through simulations. The two models were used to generate data under conditions of various levels and analyze the same data. Based on the results, the following research was conducted:

1. The S-X2 index was employed, which is regarded as the most excellent item fit index in terms of control of Type 1 error and statistical power in recent years, to examine if each model would record better fit for their own data at the item level than other models. 2. The model-data overall fit was obtained at the overall test level to see whether there were any significant differences in data fit between the two models. The raw scores distribution observed in each data was compared with the reproduced raw scores distribution by model application to obtain the CS1 value and CS2 using S-X2.

The investigator also produced polytomous items data with GRM and GPCM. Considering while setting simulation conditions for the simulation study were the two test lengths(I=10 and 20) and two sample sizes(N=500 and 1,000). In each condition, 50 data were repeatedly generated, to which each of the two models was applied to estimate item parameters. Based on the two models' fit results, CS1 and CS2, which were the overall fit indexes, along with a test S-X2 were calculated for individual data in each condition. The results were then compared with one another.

The research findings can be summarized as follows:

1. According to the S-X2 results, the experiential Type 1 error was similar to a significance level of .05 when the production model was the same as the analysis model at the item fit level. 2. According to the results of a chi square test using CS1 and CS2, the results were very bad in terms of control of Type 1 error, which suggests a need to improve the CS1 statistical index. 3. The CS2 results were not similar to .05 but more rational that the CS1 results. 4. When considering the item fit index, GPCM had more explanatory power or fit than GRM regardless of which model was used to generate data.