선다형문항에서 차등배점을 고려한 IRT 능력모수 추정을 위한 탐색적 연구

Abstract

본 연구의 목적은, 문항반응이론의 분석 맥락 하에서 차등배점 부여방식을 고려한 능력 추정방법을 탐색 및 개발하는 데에 있다. 이러한 목적을 이루기 위하여, 등급반응모형(Graded Response Model: GRM)을 활용하였으며, 이를 통하여 선다형 문항들에 차등배점 부여방식이 부여되었을 때에 이를 반영하여 능력 추정치를 구하는 방법을 제시하고자 하였다. 현재 주요 학업성취도 시험(예를 들어, 국가수준학업성취도검사, 대학수학능력시험 등)에서는 학생들의 점수의 폭을 넓히기 위함뿐만 아니라 검사의 특정한 목적에 따라 전문가에 의해 부여된 차등배점 방식을 사용하고 있다. 이와 같은 상황에서 피험자의 능력을 추정하고 검사 결과를 분석함에 있어서 현대검사이론이라고 불리는 문항반응이론에서는 전문가의 주관적 판단에 의해 부여된 차등배점을 고려한 자료 분석 방법론이 거의 존재하지 않은 실정이다. 따라서 본 연구는 전문가의 주관적 판단에 의해 부여된 차등배점이 적용되는 시험 결과에 대하여 이러한 차등배점을 문항반응이론의 틀 안에서 다룰 수 있는 방법론이 요청된다는 문제의식에서 시작되었다. 본 연구에서 제시하는 전문가 판단에 따라 선다형 문항에 사전에 부여된 배점 혹은 가중치를 등급반응모형을 활용하여 고려하는 방법은 다음과 같다. 우선, 이분 문항반응모형을 활용하여 전통적 방법으로 문항의 변별도와 곤란도를 추정한다. 다음, 각 선다형 문항에 부여된 배점을 마치 다분형 문항에서 산출된 문항의 점수인 것처럼 다룬다. 이는, 한 선다형 문항의 배점이 3점이라면 이를 마치 0, 1, 2, 3점으로 채점된 주관식 혹은 구성형 문항에서 도출된 점수로 본다는 의미이다. 이 때 물론 실제 문항 자료에서는 0점과 3점만 존재하며 1점과 2점은 산출될 수 없을 것이다. 이러한 상황을 본 연구에서는, 등급반응모형에서 활용하게 되는 경계특성 곡선의 각 위치모수를 하나의 위치모수에 근접시키는 방식으로 다루어 해결하였다. 이렇게 산출된 각 문항의 문항 모수 추정치와 피험자의 문항 반응 자료를 바탕으로, 최종적으로, 각 피험자의 능력 모수를 추정하였다. 본 연구에서는 위의 방법을 적용하여 산출된 능력추정치와 전통적인 IRT방식으로 산출된 능력추정치를 비교하고자, 두 추정치 간의 상관을 산출하였다. 그 결과, 두 추정치 간의 매우 높은 상관이 나타나 피험자의 순위를 부여하는 측면에서 두 추정 방법 간의 차이는 그리 크지 않음을 알 수 있었다. 그러나 각 원점수 구간별 RMSD를 통해 원점수 범위의 양 극단으로 갈수록 두 방법에 의한 능력추정치의 차이가 다소 증가함을 볼 수 있었다. 또한 두 가지 방법으로 산출된 능력모수의 순위와 원점수(차등배점을 고려한 원점수와 고려하지 않은 원점수 포함) 순위의 관련성을 보기 위해 두 가지 추정 방법으로 산출된 능력 추정치 값과 두 종류의 원점수 간의 순위상관계수를 산출한 결과, 원점수 서열에서 차등배점을 고려하였을 때에 추정된 능력모수의 서열이 차등배점을 고려하지 않은 능력모수의 서열에서보다 순위의 역전이 더 적게 일어나는 것으로 나타났다. 위의 연구 결과를 토대로 본 연구에서의 결론은 다음과 같다. 차등배점을 고려한 피험자의 능력추정치와 고려하지 않은 능력추정치간의 차이가 그리 크지 않았으며, 차등배점을 고려한 능력추정 방식이 원점수의 순위를 더 잘 반영해줄 수 있는 것으로 나타났다. 따라서 검사의 목적에 따라 사전에 차등배점이 부여된 상황에서 문항반응이론을 통하여 피험자의 능력추정이 요구될 때에 본 연구에서 제안하는 차등배점을 고려한 능력추정방식은 기존의 IRT방식보다 원점수의 순위를 보다 더 잘 반영해 줄 수 있다는 측면에서 효과적 대안으로 고려될 수 있을 것이다.