탐색적 요인분석에서 중복부하 문항 처리를 위한 통계적 방법 탐색

Abstract

본 연구는 검사 제작 과정에서 활용되는 탐색적 요인분석 결과 복수의 요인에 0.3 이상의 크기로 부하된 중복부하 문항을 처리하기 위하여 활용할 수 있는 통계적 방법을 탐색하기 위하여 수행되었다. 해당 통계적 방법을 활용하여 하위 검사의 신뢰도와 타당도가 개선되는 방향으로 중복부하 문항을 처리하기 위한 실제지침을 마련하고자 하였다. 일반적으로 연구자나 검사 제작자가 교육 및 심리검사를 제작하기 위해 탐색적 요인분석을 활용할 때 단일 요인에 0.3 이상의 크기로 부하된 단일 부하문항만을 최종적으로 활용하는 경향이 있다. 이 기준은 전문가들의 경험칙(rule of thumb)에 의한 것으로 이에 대한 통계적 근거는 거의 없는 실정이다. 만약 연구자나 검사 제작자가 검사도구의 신뢰도와 타당도를 높일 수 있는 중복부하 문항을 통계적으로 판별해낼 수 있다면 그동안 일괄적으로 삭제되어 온 중복부하 문항의 측정학적 가치를 발견하고 활용할 수 있을 것이다. 이를 위하여 본 연구는 중복부하 문항이 각 하위 검사의 신뢰도와 타당도를 높이는지 여부를 나타낼 수 있는 통계적 지수, RoVARs(Ratio of Value Added Ratios)를 제시하였다. 그리고 해당 지수가 하위 검사의 신뢰도와 타당도가 개선될 때 1이 넘을 것으로 가정하였고 실제로 1이 넘는지 모의실험을 통하여 살펴보았다. 신뢰도는 Cronbach-α로, 타당도는 피험자의 진점수와 원점수 간의 피어슨 적률상관계수로 계산하였다. 모의실험 고려 조건은 요인 간 상관 수준, 단일부하 문항의 부하 수준(단일부하 수준), 중복부하 문항의 부하 수준(중복부하 수준), 단일부하 문항수 및 중복부하 문항수였다. 조건별로 100개의 모의 자료를 생성하여 분석하였다. 먼저 중복부하 문항이 하위 검사의 신뢰도와 타당도를 높일 수 있는지 살펴보았고 RoVARs가 이를 적절히 나타낼 수 있는지 살펴보았다. 모의실험 결과, 요인 간 상관 수준이 높을수록, 단일부하 수준이 낮을수록, 중복부하 문항이 연구자가 포함하고자 하는 요인에 대하여 높은 수준으로 부하될수록, 중복부하 문항을 포함하는 것이 하위 검사의 신뢰도와 타당도를 보다 더 크게 개선시켰다. 단일부하 문항수가 줄어들며 중복부하 문항수가 늘어날수록 중복부하 문항을 포함하는 것이 신뢰도를 더 개선시켰고 타당도는 하락시켰다. 하지만 단일부하 문항이 매우 적은 수준일 경우, 중복부하 문항의 수가 늘어날수록 중복부하 문항을 포함하는 것이 타당도를 높였다. 모든 모의실험 조건에서 RoVARs를 계산한 결과, 신뢰도와 타당도가 모두 개선되었을 때RoVARs 평균이 1 이상이었다. RoVARs가 1이상인 경우 다음과 같은 특징이 나타났다. 첫째, 대체로 두 요인 간 상관이 0.1이하로 낮지 않은 수준이었다. 둘째, 단일부하 문항의 부하 수준이 낮으면서 문항수가 매우 적다면 중복부하 문항을 활용할 때 RoVARs가 1이상이었다. 셋째, 단일부하 문항의 부하 수준이 낮고 다수의 문항으로 이루어진 경우, 그 요인에 높은 수준으로 부하된 중복부하 문항을 포함할 때 RoVARs가 1이상이었다. 이상의 세 가지 특징은 연구자 혹은 검사 제작자가 RoVARs를 계산하였을 때 1 이상의 값이 나왔을 경우, 최종적으로 중복부하 문항을 활용할 것인지 여부를 선택할 때 실제 지침으로 활용될 수 있을 것이다. 본 연구의 의의는 탐색적 요인분석 결과 나타난 중복부하 문항의 활용 여부에 대하여 통계적 정보를 제공하기 위한 연구를 수행하였다는 점이다. 그리고 실제 검사도구 제작 과정에서 활용 가능한 통계적 지수를 제안하였고, 중복부하 문항을 활용하여 보다 양호한 검사 도구를 제작할 수 있는 지침을 마련하였다는 점이다.