보상성·비보상성 가정이 심리측정 모형을 통한 다차원적 능력 추정에 미치는 영향

Abstract

교육 및 심리 검사에서 한 문항에 제대로 응답하기 위해서는 일반적으로 다차원적인 능력이 요구된다. 예를 들면 수학 검사에서 언어적 지문을 포함하는 문항의 경우 한 피험자가 해당 문항을 제대로 풀기 위해서 언어적 지문을 이해한 뒤 수학적 계산 과정을 거쳐야 할 것이다. 하지만 학교 현장에서 평가 결과를 제공할 때에는 교과별 총점이나 성취수준에 대한 총체적 결과를 전달하는 경향이 있기 때문에, 한 학생 입장에서 볼 때 부족한 부분에 대해 상세하고 정확한 정보를 파악하여 학습 과정에서 활용하기에는 어려움이 있다. 개별 학생의 학습을 돕기 위해서는 개개인의 다차원적인 능력을 측정하여 이를 토대로 프로파일 형태의 정보를 제공해 줄 필요가 있다. 심리측정학적 관점에서 피험자의 다차원적인 능력을 추정하려면 다차원문항반응이론(Multidimensional Item Response Theory, MIRT)이나 인지진단이론(Cognitive Diagnosis Theory, CDT) 등을 적용할 수 있다. MIRT는 검사가 지니고 있는 다차원적인 속성을 고려하여 피험자의 정답반응확률을 계산하는 것으로 검사에 활용된 인지적 하위차원을 구분하여 개별 피험자의 특성에 대한 보다 상세한 정보를 제공할 수 있다. 또한 CDT는 각 검사 문항이 요구하는 인지요소에 대한 정보를 바탕으로 응답 자료를 분석하여 피험자가 문항에 정답하는데 필요한 특정 인지요소의 숙달 여부를 알려준다. CDT 하에서 사용되는 모형을 인지진단모형(cognitive diagnosis model, CDM)이라고 부른다. CDM을 적용함으로써 부족한 인지요소를 보충하기 위한 정보 제공이 가능하며, 이를 통하여 피험자의 학습을 보다 구체적으로 지원할 수 있을 것으로 기대된다. MIRT와 CDM은 큰 전제에서 모두 다차원적인 능력을 측정하는 모형이나 잠재변수가 연속변수 일 경우 MIRT, 이산변수(범주형 변수)일 경우 CDM으로 나뉘게 된다. MIRT와 CDT는 보상성(compensatory) 모형과 비보상성(non-compensatory) 모형으로 분류되어 사용된다. MIRT 하에서 보상성 모형은 다른 차원에서의 낮은 능력을 보상하기 위해 한 차원 높은 능력을 허용한다. 즉 하나 이상의 높은 능력(theta)은 다른 차원에서의 낮은 능력에 대해 보상해 줄 수 있다. 비보상성 모형의 경우 높은 확률은 모든 차원에서의 높은 능력을 의미하는데, 모든 차원에 대해 높은 정답 확률을 유지하기 위해서는 능력이 높아야 한다. CDM 하에서 보상성 모형은 해당 문항에 정답하기 위하여 필요한 여러 개의 인지요소 중 일부 인지요소를 숙달하지 않았다 하더라도 나머지 인지요소의 숙달로 인하여 정답할 확률이 높아질 수 있다고 본다. 반면 비보상성 모형의 경우 필요한 인지요소 모두를 숙달하였을 때 정답 확률이 높아질 수 있다. 즉 인지요소 상호 간의 관계를 어떻게 파악하느냐에 따라 보상성 혹은 비보상성 모형에 대한 선택이 이루어질 수 있다. 본 연구의 주된 목적은 MIRT와 CDT 적용 하에서, 보상성·비보상성 가정에 따른 모형의 선택이 피험자 능력 모수 추정의 정확성에 미치는 영향을 살펴보는 데에 있다. 이를 위해 MIRT에서는 다차원 2모수 로지스틱 모형(multidimensional two-parameter logistic model, M2PL)과 다성분 잠재 특성 모형(multicomponent latent trait model, MLTM)을 고려하고자 한다. M2PL은 하나의 인지요소 숙달이 다른 인지요소의 결핍을 보상할 수 있다는 보상성 가정을 가진 모형이다. 반면 MLTM은 하나의 인지요소 숙달이 다른 인지요소의 결핍을 보상하지 못한다고 가정하는 비보상성 모형이다. 또한 CDT를 적용하기 위해 보상성 가정을 가진 DINO(Deterministic Input, Noisy "Or" gate) 모형과 비보상성 가정을 가진 DINA(Deterministic Input, Noisy "And" gate) 모형을 적용하여 피험자 능력 모수 추정의 정확성을 비교해 보았다. 보상성·비보상성 가정에 따른 피험자 능력 모수 추정의 정확성을 알아보기 위해 구체적으로 Study 1과 Study 2로 나누어 연구를 수행하였다. Study 1에서는 실제 자료인 중학교 2학년 수학검사와 중학교 3학년 영어검사에 MIRT 및 CDT를 적용하여 피험자 능력 모수를 추정하였다. 이를 통해 실제 자료 맥락에서 보상성·비보상성 가정이 피험자 능력 모수 추정에 있어서 어떠한 영향을 미치는지 살펴 볼 수 있었다. Study 2에서는 각 피험자의 진(true) 능력모수를 파악한 상태에서 보다 체계적 비교 분석을 실시하기 위하여, 실제 자료에서 추출한 문항 모수를 생성모수로 활용하는 모의실험 연구를 수행하였다. 모의실험 연구를 위한 요인으로는 능력 모수 간의 세 가지 상관관계(= 0.0, 0.4, 0.8) 및 두 가지 생성 문항모수(수학과 영어 실제자료로부터 추정된 값을 사용하였으며, 인지요소의 수는 각각 8개와 5개였음), 그리고 두 가지 검사 길이(수학 I= 21, 42 / 영어 I= 18, 36)를 사용하였다. 모든 모의실험 조건에서 표본크기는 N= 3,000이 사용되었다. 각 모의실험 조건에서 보상성과 비보상성 가정을 따르는 두 모형을 활용하여 모의 자료를 생성하였기 때문에, 총 모의실험 조건 수는 24개(세 가지 상관×두 가지 생성모수×두 가지 검사 길이×두 가지 생성모형)라고 볼 수 있다. 각 조건 당 10개의 반복자료(replication datasets)를 생성하였다. 본 연구의 주요 결과를 요약하면 다음과 같다. Study 1 실제 자료 분석 결과를 보면, 첫째, 선행연구를 통해 수학 검사에 대해 비보상성 가정(김희경 외, 2012)을, 영어 검사에 대해 보상성 가정(신동일, 1997)을 확인 할 수 있었다. 하지만 본 연구에서는 비교 목적을 위하여 모든 보상 및 비보상 모형(M2PL, MLTM, DINO, DINA)으로 피험자 능력 모수를 추정하였다. 수학 검사와 영어 검사에 보상성, 비보상성 모형을 적용한 결과 모든 모형에서 추정된 인지요소별 능력 추정치는 각각 상응하는 하위 원점수와 대체로 높은 상관계수를 보였다. 둘째, 보상 모형과 비보상 모형으로 능력 모수를 추정하여 보상 모형으로 추정한 능력 모수와 비보상 모형으로 추정한 능력 모수 간의 상관계수를 산출한 결과 높은 상관계수가 산출되었다. 이러한 결과를 바탕으로, 실제 검사 자료 분석시 보상성 모형과 비보상성 모형을 구분하여 적용하는 것이 필요한 지에 대한 의문이 제기되었다. 셋째, MIRT 하에서 모형선택지수인 DIC 지수와 CVLL을 산출한 결과 보상성 모형인 M2PL이 비보상성 모형인 MLTM 보다 자료를 효율적으로 설명하고 있는 것으로 나타났다. CDT 하에서도 모형선택지수인 AIC와 BIC 지수와 CVLL을 통해 모형의 간명성을 살펴본 결과 보상성 모형인 DINO 모형이 비보상성 모형인 DINA 모형보다 자료를 효율적으로 설명하고 있음을 알 수 있다. 이와 같은 결과는 von Davier et al.(2011)와 von Davier(2013) 등의 연구에서 발견한 바와 일치하였다. 또한 MIRT 하에서 피험자 능력 모수 추정에 있어서 인지요소 간의 보상성, 비보상성 관계가 명확하지 않다면, 비보상성 모형의 안정적 모수추정이 상대적으로 어렵기 때문에 수리적으로 보다 간명한 보상성 모형의 사용이 적절하다고 언급한 민경석(2004)의 주장과도 일치하는 결과였다. 하지만, 이는 실제 자료에 대한 분석을 바탕으로 한 결과로 충분한 검사 길이, 인지요소당 문항수 등으로 인해서 완벽하게 진 모형을 찾기 어려운 상황일 수 있으므로 제한적 성격의 주장일 수 있다. 따라서 본 연구에서는 보다 일반화 가능한 결론을 도출하기 위하여 모의실험적 접근이 필요하다고 보았다. Study 2 모의실험 분석 결과를 보면, 첫째, 모든 모의실험 조건에서 보상 모형과 비보상 모형으로 능력 모수를 추정하여 능력 모수 추정치간의 상관계수를 산출한 결과 진 모형과 관계없이 높은 상관계수가 산출되었다. 이는 앞의 Study 1의 결과와 정확히 일치함을 알 수 있었으며, 만약 이러한 결과만 놓고 본다면 인지요소 간의 보상 및 비보상 관계에 대한 고민 없이 어떠한 모형을 사용하든 능력 추정 결과는 비슷할 것이라는 언급이 가능하다. 또한 어느 모형을 사용하든 차이가 없다면 보다 간편하면서 문항 모수 추정이 용이한 모형인 보상 모형을 사용하는 것이 낫다는 식의 결론 도출도 가능할 것이다. 둘째, 주어진 자료에 대해 적절한 모형이 무엇인지를 확인하기 위하여 진 능력모수와 추정된 능력모수 간의 RMSE 값을 산출해 보았다. 그 결과, 생성모형과 추정모형이 동일할 경우 능력 모수 추정의 정확성이 통계적으로 유의미하게 높은 것으로 나타났다. 이를 통해 다차원적 자료 분석에 있어서 보상성·비보상성 가정에 따른 올바른 모형을 선택하려는 노력이 매우 중요함을 확인하였다. 기존 선행연구(민경석, 김종필, 2006; 최현주, 2006; 송미영 외, 2011)에서는 보상성 모형이 비보상성 모형보다 간명한 형태의 모형이기 때문에 보다 선호될 수 있다는 언급을 하고 있다. 하지만, 연구자가 다차원적 능력을 다루는 검사 자료의 분석을 위하여 모형을 선택하고자 한다면 검사의 특성에 따라 올바른 모형을 선택하기 위한 노력 및 절차를 중시해야 할 것이다. 셋째, 검사 길이가 길어질수록 능력 모수를 정확하게 추정하였다. 검사 길이가 길어질 때, 진 능력모수와 추정된 능력모수 간의 상관계수가 커졌고, RMSE 값이 작아졌다. 또한 CDM 적용 시, 검사 길이가 증가하였을 때 분류 정확성이 높아지는 경향이 있었다. 이는 김지효(2013), Chiu et al.(2009), de la Torre(2008)의 연구 결과와 동일하였다. 이를 통해 연구에서 다차원 능력 모수를 추정하고자 할 때 충분한 검사 길이를 고려해야 함을 알 수 있다. 넷째, 능력 모수 간 상관 조건에 따른 결과를 살펴보면, MIRT와 CDM 모든 모형을 고려할 때 뚜렷한 경향성을 보이지 않았다. 그러나 가장 높은 상관 조건인 0.8에서 RMSE값이 대체로 작아졌으며, CDM 분류정확도의 경우 0.8일 때 대체로 분류정확도가 높았다. Cui et al(2012)은 모든 인지요소의 숙달여부를 함께 고려하였을 때 상관이 높을수록 분류정확도가 높아진다고 하였고, Chung(2014)의 연구에서는 상관에 따른 유의미한 차이를 발견할 수 없다고 하였다. 따라서 상관의 조건에 따라 개별 인지요소에 대한 능력 추정 정확성에 대한 의미 있는 결과를 도출하기는 어려우나, 적어도 모든 인지요소의 숙달여부를 함께 고려하는 경우 분류정확도는 상관 조건이 커질 때 높아짐을 알 수 있다. 다섯째, 모형의 간명성을 보여주는 모형선택지수를 추정한 결과 MIRT의 DIC 지수와 CVLL(cross-validation log likelihood), CDT 하에서 AIC, BIC, CVLL을 추정한 결과 CVLL을 제외하고 생성 모형과 관계없이 보상 모형으로 분석하는 것이 일관되게 좋다는 결과가 도출되었다. 이러한 결과는 Bolt & Lall(2003)과 von Davier et al.(2011), von Davier(2013) 연구에서 발견한 바와 일치하였다. 또한 이는, MIRT 하에서 피험자 능력 모수 추정에 있어서 보상성, 비보상성 가정의 차이가 존재하지 않는다면 비보상성 모형의 안정적 모수추정이 상대적으로 어렵기 때문에 수리적으로 보다 간명한 보상성 모형의 사용이 적절하다고 언급한 민경석(2004)의 주장과도 일치하는 결과였다. 그러나 능력 모수 추정에 있어서 생성모형과 추정모형이 동일할 때 정확성이 높다는 본 연구의 결과에 비추어 볼 때, 생성모형과 관계없이 보상성 모형을 일관되게 선택하는 것으로 나타난 AIC, BIC, 그리고 DIC 모형선택지수 등은 기대되는 바대로의 역할을 제대로 하지 못함을 알 수 있었다. 여섯째, CVLL을 산출한 결과 검사 길이가 충분히 클 경우, 진 모형과 분석 모형이 동일할 때 기대되는 바대로 CVLL이 작용하는 것으로 나타났다. 이는 다시 말해, CVLL을 주어진 검사 자료에 대한 모형선택지수로 활용한다면, 각 인지요소에 따른 충분한 검사 길이를 갖추고 있다는 전제 하에서, 진 모형을 제대로 선택하는 것이 가능함을 의미한다. 추가적으로, 인지요소 간 보상성 및 비보상성 관계를 고려하면서 심리측정학적 모형을 결정하기 위한 이론적·질적 검토 과정에 대하여 제시하였다.