문제중심학습에서 학생평가에 대한 신뢰도 및 타당도 연구 : A의과대학 사례를 중심으로

Abstract

영문초록: p. 117-119|지식의 획득 자체를 최우선의 목표로 삼아왔던 전통적인 학교교육의 단점을 보완하기 위하여 최근에 많은 학교에서는 문제중심학습을 도입하여 운영하고 있다. 문제중심학습은 삶의 과정에서 당면하게 되는 문제에 현명하고 합리적으로 대처할 수 있는 문제해결력을 함양하는 데에 그 목적이 있다. 그러나 문제중심학습을 시행하는데 있어서 가장 큰 고민은 '무엇을', '어떻게' 평가할 것인가 하는 것이다. 문제중심학습에서 평가는 평가자의 주관이 개입됨으로서 신뢰롭지 못하며, 문제중심학습이 측정하고자 하는 능력을 충실하게 측정하는지에 대한 의구심으로 인해 학교현장에서 제대로 활성화 되지 못하고 있는 형편이다. 이에 본 연구는 문제중심학습의 평가주체와 평가방법의 다양한 시도들에 대한 평가점수를 비교하여 평가의 타당성과 신뢰성을 검증하는 데에 그 목적이 있었다. 우선, 문제중심학습에서 평가주체 간의 평가 점수에 대한 일치도를 살펴보고, 평가주체별 평가의 특징이 무엇이며, 선다형 지필시험과 같은 학업성취도와 어떠한 관련이 있는지를 알아보았다. 둘째, 문제중심학습에서의 평가방법 간의 점수의 일관성을 살펴보고, 평가준거와 선다형 지필시험 점수와의 상관관계를 알아보았다. 셋째, 문제중심학습에서 튜터 간 점수를 서로 비교하여 학생평가의 문제점을 찾고 그 해결방안을 모색하였으며, 동일한 학생을 서로 다른 튜터가 평가했을 경우 튜터 간의 점수가 어느 정도 일치하는지를 알아보았다. 본 연구는 문제중심학습을 시행하고 있는 A 의과대학을 연구대상으로 하였다. 연구 도구로 튜터평가, 자기평가, 동료평가, 성찰일기, 개념도, 선다형 지필시험 등의 점수를 사용하였으며, SPSSwin? 12.0 통계 프로그램을 이용하여 상관분석, t-검정, 회귀분석, Friedman검정 등을 실시하였다. 본 연구의 결과는 다음과 같다. 첫째, 자기평가와 동료평가의 상관은 어느 정도 있었으나(r=.21-.34) 튜터평가와 동료평가 간에는 유의미한 상관이 없었다. 본 연구에서 평가주체 간의 상관관계가 낮은 것은 ① 익명성, ② 관대화 경향, ③ 집중화 경향 등의 변수가 개입했기 때문으로 나타났다. 튜터평가와 자기평가에 영향을 미치는 준거는 '문제해결력'이었으며, 동료평가는 '정보수집력'이 평가 결과에 가장 큰 영향을 미치는 것으로 나타났다. 이러한 차이는 튜터가 학생을 보는 관점과 학생이 학생을 보는 관점에는 '전문성'의 차이가 존재한다는 기존의 입장을 검증한 것이다. 학업성취도가 높은 학생들이 튜터평가, 자기평가의 점수가 유의미하게 높았다. 둘째, 튜터평가와 성찰일기는 서로 상관이 있었으나(r=.56), 개념도와 다른 평가방법들 간에는 유의미한 상관이 거의 없었다. 본 연구에서 개념도 평가의 문제는 ① 시험방식, ② 튜터의 채점방법, ③ 평가에 대한 튜터의 인식 등에 그 원인이 있는 것으로 나타났다. 선다형 지필시험은 평가준거들 중에서 토론참여도와 유의미한 상관이 있는 것으로 나타났다(r=.40). 셋째, 22명의 튜터 점수 간에는 통계적으로 유의미한 차이가 있었다(p＜.05). 이러한 차이는 튜터가 ① 자신으로 인해 학생들이 불이익을 받을 것을 염려하고, ② 문제중심학습에 대한 이해 부족으로 소신 있게 평가를 하지 못한 데에 그 원인이 있는 것으로 나타났다. 튜터 간 점수 차이의 문제는 표준화 점수를 ?玲淪纛막館? 해결될 수 있었다. 수행평가 형태의 여러 가지 문제중심학습 평가방법들이 적합한지, 평가주체에 따라 평가결과가 일관성이 있는지 등에 대한 논의가 충분히 이루어지지 못한 상황에서 문제중심학습의 우수성만을 주장하는 것은 문제중심학습이 갖고 있는 본래적 가치를 오히려 훼손할 우려가 있다. 본 연구는 문제중심학습에서 학생평가에 대한 신뢰도와 타당도를 실증적인 자료를 통해서 검증함으로써 문제중심학습의 실행뿐만 아니라 학생평가를 어떻게 해야 하는가에 대한 문제의 실마리를 제공하였다는 점에서 그 의의가 있다고 말할 수 있다.|The problem-based learning course is popularized recently in many colleges to make up for some weaknesses in conventional teaching methods, for example, over-emphasis on the dispensing of information in lectures and such assessment system as multiple choice question. Although problem-based learning is efficient to cultivate problem solving skills, which is sometimes called clinical reasoning, there exists a few difficulties in assessing the students in problem-based learning. The difficulties are 'what' should be measured and 'how' can it be measured. The purpose of this study was to examine the reliability and validity of student assessment in problem-based learning. The research questions in this study were suggested as follows : 1) What are the relationships among tutor assessment, self-assessment, and peer assessment in problem-based learning? 2) What are the relationships among tutor assessment, reflective journal, concept mapping, multiple choice question in problem-based learning? 3) Is there consistency among the ratings of tutors in problem-based learning? The subjects of this study were 175 students, 62 tutors in A University College of Medicine. Tutor assessment, self assessment, peer assessment, reflective journal, concept mapping, and multiple choice question were used as assessment instruments. The SPSSwin? software program was used to analyze the data and statistics such as correlation, T-test, multiple regression analysis, and Friedman test. The results of this study are as follows : 1) The correlation coefficients between self assessment and peer assessment were .21-.34, but there was no significant correlation between tutor assessment and peer assessment. And the result of multiple regression analysis showed that the criterion of tutor assessment and peer assessment was 'problem-solving skill', that of peer assessment was 'information collecting skill'. 2) There was significant correlation between tutor assessment and reflective journal(r=.56), but there was no significant correlation between tutor assessment and concept mapping(r=.06). The correlation coefficients between multiple choice question and tutor assessment, reflective journal, and concept mapping are .36, .06, .09. 3) There was statistically significant difference between the scores of 22 tutors(p＜.05). The cause seemed to be tutors' lack of understanding about assessment in problem-based learning.