번역 작문과 자유 작문에 대한 Human-rater와 Computer를 이용한 평가의 비교 분석

Abstract

인터넷의 급속한 발전과 보급으로 인한 정보화, 세계화의 물결 속에 외국어의 의사 소통 능력에 대한 중요성이 점점 확대되고 있다. 이러한 시대적 변화는 언어 평가 분야에 있어 의사 소통의 표현 능력을 직접 평가하고자 하는 수행 평가의 실시로 이어지고 있다. 학습자의 언어 수행을 직접 측정하는 수행 평가는 학습을 고무시키는 긍정적인 환류효과를 지니고 있는 반면, 실제 교실 현장에서 실시되는 데에는 채점의 어려움, 그에 대한 신뢰도, 평가 결과에 대한 객관성, 과다한 시간과 비용의 문제 등 많은 현실적인 제약들을 지니고 있다. 이러한 실용성 결여의 문제를 해결하기 위해 객관적이고 타당한 평가 도구의 마련과 함께 자연 언어 처리에 대한 컴퓨터 기술의 활용은 무시할 수 없는 부분일 것이다. 이에 대하여, 본 연구에서는 기존에 이루어졌던 human-rater의 평가뿐만 아니라, 미비하나마 몇 가지 컴퓨터 프로그램을 이용하여 작문의 평가를 시도하였다. 그리하여, human-rater의 평가 결과와 컴퓨터를 이용한 평가 결과의 상관 관계를 비교 분석한 후 앞으로 작문의 평가에 있어 컴퓨터를 이용한 평가의 타당성 및 실용성의 정도를 알아보고자 하였다. 본 연구는 92명의 대학생이 CBT(Computer-Based Test) 방식으로 치른 TWP(Test of Written Proficiency in English)의 Section 1 번역 작문과 Section 7 자유 작문의 내용을 평가 대상으로 하여 이루어졌다. Section 1 번역 작문에 대해서는 어순, 품사, 오류 분석과 품사 태거 프로그램을 사용한 computer, human-rater의 평가 등 5개의 평가 항목들로 나누어 채점하고 그 결과들에 대한 상관 관계를 비교하였다. Section 7 자유 작문에 대해서는 원어민 2인이 평가한 맞춤법, 문법 능력, 문단 구성력, 사회 언어학적 능력, 내용 의미성의 평가 요소별 자료와 readability 프로그램인 Grammatik Ⅳ와 concordance 프로그램인 WordSmith Tools를 사용하여 얻은 문장의 이독도를 나타내는 지수 및 문장, 단어의 평균 길이, 단어 당 음절수와 Type/Token Ratio 등의 자료들을 가지고 상관 관계를 구해 비교하였다. 이상의 연구 결과 작문의 평가에 있어 컴퓨터의 활용은 전반적인 언어 능력을 평가하는 자유 작문보다는 주로 번역 작문과 같이 비교적 채점 내역을 명확히 할 수 있는 부분에 보다 더 유용하게 이루어질 수 있음을 알 수 있었다. 그러나, 최근 ETS(Educational Testing Service)의 e-rater(electronic essay rater)나 온라인 상에서 활용되고 있는 LSA(Latent Semantic Analysis)를 이용한 IEA(Intelligent Essay Assessor)를 볼 때, 자연 언어 처리에 대한 컴퓨터 기술의 발달에 힘입어 앞으로 컴퓨터를 활용한 자유 작문의 평가도 제한적인 작문 평가 상황에서 어느 정도는 가능할 것으로 예상된다.|With the advent of the Internet, it is more important than ever to be equipped with good communication skills. This current trend has led to the implementation of performance testing which measures directly the productive skills of communication in language testing. Performance testing has a positive washback effect; that is encouraging learning. At the same time, it has such limitations as the difficulty of rating, the subjectivity inherent in human reader scoring, and reliability. Also, performance testing is time consuming and costly. Under these circumstances, we need to consider the possibility of applying natural language processing to develop more valid performance measurement tools to solve a lack of practicality. For these reasons, this present study has tried to evaluate writing, using some computer programs as well as conventional human-rater's assessment, and to analyze comparatively the correlation between human-rater and computer assessment. By doing so, this study was intended to determine the possibility of validity and practicality in writing assessment using computers. This study was designed to evaluate Section 1 "Translation" and Section 7 "Free Writing" of CBT(Computer-Based Test), TWP(Test of Written Proficiency in English) that 92 college students took. Section 1, "Translation" was divided according to the following assessment groups : Word Order, Parts of Speech, Error Analysis, Computer and Human-rater assessment using parts of speech tagger program. Then, marks were given and the correlation between the results was compared. For Section 7, "Free Writing", two native speakers gave marks according to specific assessment factors, which are mechanics, grammatical competence, discourse competence, sociolinguistic competence, and content. As a computer assessment for Section 7, a readability program, Grammatik IV, and a concordance program, WordSmith Tools, were used. Through these programs, data was gained about some readability indices, sentence average length, word average length, syllables per word, and type/token ratio. And then, the correlation between the above data was compared. In conclusion, what is confirmed from this study is that utilizing computers in "Translation" measured definitively by analytic rating is more useful than in "Free Writing" which measures overall language competence. Considering the recent ETS(Educational Testing Service)'s e-rater(electronic essay rater) or IEA(Intelligent Essay Assessor) being utilized on line with LSA(Latent Semantic Analysis), however, utilizing computers in a limited free writing assessment setting will be somewhat possible with the development of computer technology based on natural language processing.