소표본(small sample)에 활용 가능한 통계 검정법의 비교

Abstract

This is a simulation study comparing Kruskal-Wallis test, which is non-parametric method using rank, and Jackknife test, Permutation test, and Bootstrap test, which are resampling methods, as alternative statistical methods of one-way ANOVA(analysis of variance). It is conducted through comparing the performance of the statistical methods using type Ⅰ error rates and power. For this purpose, 30 experimental conditions were set based on the factorial design of ３×５×２ depending on the level of three manipulated variables, sample size, effect size and mean variability. Each experimental conditions were repeated 10,000 times. Then, the error rates and power of each methods were calculated and evaluated. Both of generation and analysis of data were conducted by using Monte Carlo simulation in the statistical program R.

As a result of the analysis, it showed that there were differences in the type Ⅰ error rates according to the type of statistical methods and the sizes of sample. On average, the type Ⅰ error rates were the largest in Bootstrap test, and the smallest in Jackknife test. Furthermore, the larger the sample size was, the smaller the mean of the type Ⅰ error rates was. As increasing of the sample size, type Ⅰ error rates of all statistical methods gradually approached to the significance level α=.05.

Besides, it showed that there were differences in the power according to the type of statistical methods and the level of the effect size. The larger the effect size was, the bigger the power of the statistical method was. The means of the power were the largest in Bootstrap test, and the smallest in Jackknife test. The power was always higher under the maximum variability condition than the intermediate condition, but the overall pattern of power changes was similar to each other. As the sample size was getting closer to the sufficient level, in addition, the differences of the power among the statistical methods became smaller. Since the statistical methods has their own advantages and disadvantages depending on the form and condition of the data given to the researchers, therefore, it is suggested to use the appropriate method for the different research problems.

The results of this study are meaningful in that they increase the possibility of generalization by expanding the existing comparative studies of parametric and non-parametric methods. Furthermore, it can be a basis for future researchers to choose the statistical method that is suitable for the characteristics of their data. Finally, a proposal for further researches was discussed. | 본 논문은 표본 크기를 포함한 여러 연구 조건에서 모수 검정법과 비모수적 검정법의 수행을 비교하고, 비모수적 검정법을 중심으로 소표본에 적합한 분석 방법을 탐색하는 시뮬레이션 연구이다. 모수 검정법에는 일원분산분석, 비모수적 검정법에는 비모수 검정법인 크루스칼-왈리스 검정, 재표집 방법인 잭나이프, 임의순열, 붓스트랩 검정이 사용되었다. 이를 위하여 세 개의 조작변수(표본 크기, 효과 크기, 평균 변동성) 수준에 따라 ３×５×２의 요인설계(factorial design)를 바탕으로 총 30개의 실험 조건을 설정하였다. 동일한 조건을 10,000번씩 반복하고, 각 조건 아래 통계 검정법의 검정력을 산출하였다. 1종 오류 비율의 경우, 집단 간 차이가 없다는 가정 하에(효과크기=0, 평균 변동성=∅) 3가지 표본 크기 조건을 10,000번씩 반복하여 표본 크기 수준에 따른 1종 오류 비율을 구하였다. 자료의 생성과 분석에는 통계 프로그램 R이 사용되었다.

분석 결과, 검정법의 종류와 표본 크기에 따라 1종 오류 비율에 차이가 있음이 관찰되었다. 평균적으로 1종 오류 비율은 붓스트랩 검정에서 가장 컸고, 일원분산분석, 임의순열 검정, KW 검정, 잭나이프 검정 순으로 작았다. 표본 크기가 커질수록 1종 오류 비율의 평균이 감소하는 경향이 나타났고, 1종 오류 비율이 점차 유의수준 .05에 가까워지는 것으로 나타났다.

또한, 통계 검정법과 효과 크기에 따라서 검정력에 차이가 있었다. 효과 크기가 커질수록 검정력이 증가하는 경향이 나타났으며, 모든 조건에서 붓스트랩 검정의 검정력이 가장 큰 것으로 관찰되었다. 표본 크기가 3인 경우를 제외하고 평균적으로 가장 작은 검정력을 갖는 검정법은 잭나이프 검정이었다. 평균 변동성에 따라 비교했을 때는 최대 변동성 조건에서 항상 높은 검정력 수치가 나타났으나, 전반적인 검정력 변화 패턴은 유사했다. 표본 크기에 따라서는 충분한 크기에 가까워질수록 통계 검정법 간 검정력의 차이가 감소하여 비슷한 수행 능력을 가지게 되는 경향을 보였다.

따라서 연구자에게 주어진 데이터의 형태와 조건에 따라 통계 검정법이 가지는 장단점이 다르기 때문에, 상이한 연구문제에 따라 적합한 분석방법을 사용할 필요성에 대해 논의하였다. 본 논문은 두 집단 차이검정에 사용되는 분석법을 비교한 기존의 연구를 3개 이상의 집단에 적용할 수 있도록 일반화 가능성을 높였다는 점과, 비모수적 검정법의 범주에 재표집 방법을 포함하여 보다 확장된 비교 연구를 수행했다는 점에서 의의가 있다. 본 연구의 결과는 추후 연구자의 자료 특성에 맞는 검정법을 선택하는 근거로 활용할 수 있을 것으로 기대된다. 마지막으로 연구의 한계를 보완하기 위한 후속연구 방안을 제언하였다.