Improvement of Deep Prediction Models via Mutual Information Regularization under Missing Data Distribution Shifts

Abstract

In real-world data analysis, missingness distributional shifts between training and test input datasets frequently occur, posing a significant challenge to achieving robust prediction performance. In this study, we propose a novel deep learning framework designed to address such shifts in missingness distributions. We begin by introducing a set of mutual information-based conditions, called MI robustness conditions, which guide a prediction model to extract label-relevant information while remaining invariant to diverse missingness patterns, thereby enhancing robustness to unseen missingness scenarios at test-time. To make these conditions practical, we propose simple yet effective techniques to derive loss terms corresponding to each and formulate a final objective function, termed MIRRAMS(Mutual Information Regularization for Robustness Against Missingness Shifts). As a byproduct, our analysis provides a theoretical interpretation of the principles underlying consistency regularization-based semi-supervised learning methods, such as FixMatch (Sohnet al., 2020). Extensive experiments across various benchmark datasets show that MIRRAMS consistently outperforms existing baselines and maintains stable performance across diverse missingness scenarios. Moreover, our approach achieves state-of-the-art performance even without missing data and can be naturally extended to address semi-supervised learning tasks, highlighting MIRRAMS as a powerful, off-the-shelf framework for general-purpose learning.|현실 세계의 데이터 분석에서는 학습과 테스트 시 입력 데이터의 결측 분포가 달라지는 현상이 자주 발생하며, 이는 예측 성능의 일관성을 크게 저해하는 요인으로 작용합니다. 본 연구에서는 이러한 결측 분포 변화를 해결하기 위해 설계된 새로운 심층 학습 프레임워크를 제안합니다. 상호정보량을 기반으로 한 조건을 도입하여, 예측 모델이 다양한 결측 패턴에 불변하면서도 레이블 관련 정보를 최대한 보존하도록 유도함으로써 테스트 시 관측되지 못한 결측 시나리오에 대해서도 강건성을 향상시킵니다. 이러한 조건을 실제로 적용하기 위해, 새로운 정규화 항을 도출하기 위한 간단하면서도 효과적인 기법을 제안하고, 이에 대응하는 목적 함수를 개발하여 이를 MIRRAMS라 명명합니다. 부수적으로, 본 연구는 FixMatch와 같은 일관성 정규화 기반 준지도학습 방법론에 대한 이론적 해석을 제공합니다. 다양한 벤치마크 데이터셋을 사용한 실험을 통해 MIRRAMS가 기존 기법 대비 모든 결측 시나리오에서 안정적이며 우수한 성능을 보임을 확인합니다. 아울러 결측 데이터가 전혀 없는 일반적인 지도학습에서도 최첨단 성능을 달성하고, 준지도학습 과제로 자연스럽게 확장 가능하다는 점을 강조하여 MIRRAMS를 범용 학습을 위한 강력한 기성 프레임워크로 제안합니다.