종단간 암호화를 위한 악성 암호 트래픽의 고속 탐지 기법

Abstract

네트워크 기술의 발전과 보편화로 초고속 인터넷을 이용해 언제 어디서나 원하는 대상과 통신할 수 있게 되었지만, 정보의 전송 과정에서 감시, 감청, 개인정보 유출, 악성코드 유포가 과거 어느 때보다 쉬워졌다. 최근 이러한 보안 위협에 대응하기 위한 대표적인 정보보호체계로 종단간 암호화 (End-to-End Encryption, E2EE) 기술이 상용 네트워크 서비스에 기본적으로 사용되고 있다. 종단간 암호화 기술을 이용하면 암호 키를 알고 있는 메시지 송수신 단말은 메시지를 복호할 수 있게 되지만, 메시지를 검사하고 전달하는 정보보호체계에서 암호화된 패킷의 악성 여부를 검사하기 어려워진다. 종래에는 신뢰할 수 있는 정보보호체계를 이용해 심층 패킷 검사(Deep Packet Inspection, DPI)를 하는 연구가 진행되었으나 심층 패킷 검사를 수행하기 위해서는 종단간 암호화가 유지되기 어렵고 검사 시간이 길어진다는 한계가 있다. 또한, 인공지능을 활용한 악성 트래픽 탐지 및 분류 연구가 수행 되고 있지만 페이로드 부분을 학습 요소로 활용하기 어려워서 헤더 정보만 이용하거나 통계적 특징을 추출해서 학습하기 때문에 탐지 성능을 향상하는 데에 한계가 있다. 본 연구에서는 종단간 암호화 상태를 유지하며 빠르게 알려진 악성 패턴을 검출하기 위해 차세대 네트워크 패킷 프레임 구조와 고속 패킷 검사(Fast Packet Inspection, FPI) 기법을 제안한다. 암호 트래픽의 페이로드를 학습 요소로 활용하여 악성 트래픽 학습 속도를 개선하고, 정확도를 향상시키는 Advanced FPI(Advanced Fast Packet Inspection) 프로토콜을 제안하였다. 시뮬레이션 결과에 의하면 제안하는 FPI는 종단간 암호화와 무결성을 유지하면서 심층 패킷 검사 대비 페이로드 길이가 640바이트인 환경에서 검사 커버리지가 20%인 경우 약 14.4배, 100%인 경우 약 5.3배 빠른 속도로 패킷 검사를 수행할 수 있다. Advanced FPI는 심층 패킷 검사 대비 선형 회귀 모델 에서 최소 7.63초, 의사 결정 트리 모델에서 최대 13.74초 학습 시간을 개선하였다. 정확도 성능 측면에서는 종래 방식 대비 최소 1.89%에서 최대 35.08% 악성 트래픽 분류 정확도 성능을 향상하였다.|With the recent development and popularization of various network technologies, communicating with people at any time, and from any location, using high-speed internet, has become easily accessible. At the same time, eavesdropping, data interception, personal data leakage, and distribution of malware during the information transfer process have become easier than ever. Recently, to respond to such threats, end-to-end encryption(E2EE) technology has been widely implemented in commercial network services as a popular information security system. However, with the use of E2EE technology, it is difficult to check whether an encrypted packet is malicious in an information security system. A number of studies have been previously conducted on deep packet inspection(DPI) through trustable information security systems. However, the E2EE is not maintained when conducting a DPI, which requires a long inspection time. Thus, in this study, a fast packet inspection (FPI) and its frame structure for quickly detecting known malware patterns while maintaining E2EE are proposed. In this study, an advanced fast packet inspection (Advanced FPI) protocol that utilizes the payload of encrypted traffic as a feature to improve the training speed of malicious traffic and improve accuracy is proposed. Based on the simulation results, the proposed FPI allows for inspecting packets approximately 14.4 and 5.3 times faster, respectively, when the inspection coverage is 20% and 100%, as compared with a DPI method under a simulation environment in which the payload length is set to 640 bytes. Advanced FPI improves training time by at least 7.63s in the linear regression model and up to 13.73s in the decision tree model compared to deep packet inspection. In terms of accuracy performance, it improves the accuracy performance of malicious traffic classification by up to 35.08% from a minimum of 1.89% compared to the conventional method.