색인어의 추출방법에 따른 문서간 유사도 측정

Abstract

잘 구축된 인터넷망과 컴퓨터기술 습득을 통해 누구나가 자신에게 유용한 정보를 찾아서 문제를 해결하거나 과제를 수행하는 것이 보편화 되었다. 그러나 수많은 정보를 제대로 활용하지 못하고 다른 사람의 자료를 전부 혹은 일부를 복사하거나 표절하는 경우가 많아지고 있다. 이에 대해 교수·평가자 입장에서 보자면 과제평가에 대한 어려움이 발생된다. 따라서 평가결과에 대한 신뢰도를 향상시키기 위해 다양한 색인추출방법과 유사도측정계산식에 따른 문서간 유사도 측정 시스템이 개발되고 있다. 본 논문은 기존의 색인어추출방법인 단어와 단어쌍 중에서 어떤 것이 정확도가 높으며, 또한 단어쌍 색인어추출방법에서는 추출된 단어쌍 개수가 정확도에 어떤 영향을 미치는지 알아보기 위해 새로운 색인추출방법을 제시하여 유사도 측정 계산식에 따른 정확도를 실험·분석하였다. 이 실험을 통해 정확도가 높은 색인추출방법을 찾아내어 교수·평가자의 평가결과에 대한 신뢰도를 높이고자 한다. 이를 위해 4가지 색인추출방법(단어색인, 명사그룹, 크기별 슬라이딩윈도우를 씌운 단어쌍(크기2-9), 가변적 슬라이딩 윈도우를 씌운 단어쌍)을 최소가중치계산식으로 유사도 측정 실험을 하였다. 실험 방법은 실제 교육대학원에서 과제로 내준 10페이지 분량의 독후감 10개를 1페이지로 분할하여 생성한 100개의 문서와 인터넷을 통해 검색한 독후감 400개 총 500개의 데이터를 대상으로 단어와 단어쌍 색인어추출방법 중에서 어느 것이 정확도가 더 높은지 알아보고, 단어쌍의 색인어의 개수가 정확도에 어떠한 영향을 미치는지에 대한 실험을 하였다. 그 결과 단어보다는 단어쌍 색인어추출방법이 높은 정확도를 보였으며, 단어쌍의 추출된 색인어의 개수가 정확도에 영향을 주어 정확도가 달라지는 것을 알 수 있었다.|People can easily resolve problems through the mechanism 'Internet' and also can make things easier using various computer technologies. However, at the same time, people make a big deal social issue so called plagiarism by the fact that they can get thousands of pieces of information from the internet after a few minutes searching. Beacuse of this, assessors, and professors, are struggling for articulate evaluation of their students' work. To improve reliability of the evaluations, people use numerous index search and a Methodology for Semantic Similarity system through similarity measurement. The dissertation which it sees the what kind of thing accuracy is high from in the word which is a indexed extraction method of existing and word pair, also the word pair modification which is extracted what kind of effect should have gone mad to an accuracy, the hazard which it examines presents a new indexed extraction method from word pair indexed extraction method and test it analyzed the accuracy which also the beginning of history follows in measurement calculation. This test it leads and the indexed extraction method where the accuracy is high and the reliability against an evaluation volition evaluation result and it searches Professor inside to sleep it raises it does. The hazard 4 branch indexed extraction method which will reach (word index, the personage group, the size sliding window the word pair which puts on master drawing right (the size 2-9), variable sliding window the word pair which puts on master drawing right) the beginning of history it did a measurement test with smallest weight calculation. The testing method divided impression of a book 10 thing of 10 page quantity which from the actual teachers' college unit hands over with subject with 1 page and create the data of 100 things which in the object which thing accuracy probably is higher from in word and word pair indexed extraction method, it examined, the indexed word meaning modification of word pair what kind of effect should have gone mad to an accuracy, against it it tested. The accuracy where word pair indexed extraction method is higher the result word than it seems, the indexed word meaning modification which word pair is extracted gives an effect to accuracy and the possibility of knowing the fact that the accuracy changes it was.