신경망 학습을 이용한 문서 자동 분류

Abstract

현재 인터넷에서 이루어지는 서비스 중에서 문서 분류 서비스는 많이 이루어지는 서비스 중의 하나이다. 그러나 웹 문서 분류 서비스를 제공하는 대부분의 업체는 문서 분류 작업을 수작업으로 하고 있는 실정이다. 웹 상의 다량의 문서들을 수작업으로 분류?磯募? 것은 생산성과 능률 차원에서 적절치 못한 방법이다. 본 논문에서는 문서 분류의 자동화 방법 중 신경망 학습을 이용한 문서 자동 분류를 하고자 한다. 신경망 학습을 이용한 문서 자동 분류는 다음과 같이 이루어진다. 문서학습 프로그램에 역전파 네트워크를 구성하고 학습 데이터의 수, 학습 알고리즘 매개 변수 설정 그리고 히든 유닛의 개수 등을 조정하면서 학습을 수행한다. 그리고 나서, 문서 분류 프로그램의 역전파 네트워크에 학습 결과 생성된 학습 네트워크 가중치를 설정한다. 이러한 문서 분류 프로그램에 미지의 새로운 문서를 입력하면 적합한 카테고리로 분류가 이루어지게 된다. 본 논문에서는 학습 문서가 480개인 경우와 1080개인 경우에 대하여 각각 학습을 수행한 후 학습 네트워크 가중치를 얻었으며, 이 학습 네트워크 가중치를 문서 분류 프로그램의 역전파 네트워크에 로딩하여 사용하였다. 분류 실험 결과, 1080개의 학습 문서로 훈련된 학습 네트워크 가중치를 적용했을 때 총 180개의 테스트 문서에 대하여 158개의 문서가 올바르게 분류되었고 87.8 ％의 정확도를 나타냈다.|Document categorization is one of the most important services in what is called internet age. Document categorization has been done manually, which is a time-consuming and inefficient task. This thesis proposes an automated document categorization approach in which neural network is used as a learning framework. In the learning process, the optimal number of hidden units are determined and the neural network's weights are decided by using learning data. The weights are used to configure a neural network, that is applied to categorize unknown documents. For the experiment, weight learning was performed twice, one with 480 documents and the other with 1080 documents. For the evaluation, 180 test documents were prepared. With the weights learned from 480 documents, the accuracy of categorization was evaluated to be 68.3 ％. With the weights learned from 1080 documents, the accuracy of categorization was evaluated to be 87.8 ％.