A study on enhancing deep generative models using adaptive threshold technique for identifying outliers

Abstract

Outlier detection (OD) involves identifying unusual observations (or outliers) within a dataset by learning the distinct patterns of normal observations (or inliers). Recently, a study introduced a robust unsupervised OD (UOD) method based on a new observation in deep generative models, known as the inlier-memorization (IM) effect, which indicates that generative models tend to memorize inliers before outliers during the early stages of training. In this study, we aim to develop a theoretically grounded approach to address UOD tasks by maximally utilizing the IM effect. We start by noting that the IM effect becomes more pronounced when the training data contains fewer outliers. This insight suggests that enhancing the IM effect in UOD scenarios is possible if outliers can be effectively excluded from mini-batches during loss function design. To achieve this, we introduce two key techniques: 1) gradually increasing the mini-batch size as training progresses, and 2) employing an adaptive threshold for the truncated loss function. We theoretically demonstrate that these techniques effectively filter out outliers from the truncated loss function, enabling us to fully exploit the IM effect. Together with an ensemble technique, we propose a method called Adaptive Loss Truncation with Batch Increment (ALTBI). Extensive experimental results show that ALTBI outperforms other recent methods in identifying outliers, even with significantly lower computational costs. Moreover, we demonstrate that our method maintains robust performance when combined with privacy-preserving algorithms.|이상치 탐지는 주어진 데이터 또는 향후 데이터에서 정상적인 관측치의 고유한 패턴을 학습하여 비정상적인 관측치를 식별하는 작업입니다. 최근 한 연구에서는 생성 모델의 새로운 관찰을 바탕으로 한 강력한 비지도 이상 탐지 방법론을 도입했으며, 이를 정상치 기억 효과(IM 효과)라고 부릅니다. 이 효과는 생성 모델이 학습 초기 단계에서 이상치보다 정상치를 먼저 기억한다고 제안합니다. 이번 연구에서는 IM 효과를 최대한 활용하여 비지도 이상치 탐지 작업을 해결하기 위한 이론적으로 정립된 방법을 개발하는 것을 목표로 합니다. 우리는 주어진 훈련 데이터에 이상치가 적게 포함될수록 IM 효과가 더 명확하게 관찰된다는 점을 시작으로 합니다. 이 발견은 손실 함수를 설계할 때 미니 배치에서 이상치를 효과적으로 제외할 수 있다면 비지도 이상치 탐지 체제에서 IM 효과를 향상시킬 수 있는 가능성을 시사합니다. 이를 위해 두 가지 주요 기술을 도입합니다: 1) 모델 훈련이 진행됨에 따라 미니 배치 크기를 증가시키고, 2) 손실 함수의 일부만을 잘라내어 사용하기 위해 적응형 임계값을 사용하는 것입니다. 우리는 이 두 가지 기술이 절단된 손실 함수에서 이상치를 효과적으로 필터링하여 IM 효과를 최대한 활용할 수 있게 함을 이론적으로 보여줍니다. 추가적인 앙상블 기법과 결합하여 우리는 이 방법을 제안하며, 이를 ALTBI 라고 명명합니다. 우리는 ALTBI가 다른 최신 방법들과 비교했을 때, 훨씬 낮은 계산 비용으로도 이상치를 식별하는 데 있어 최첨단 성능을 달성함을 광범위한 실험 결과를 통해 입증합니다. 또한, 우리 방법이 프라이버시를 보호하는 알고리즘과 결합되었을 때도 견고한 성능을 발휘함을 보여줍니다.