다중 객체 추적 및 인페인팅 시스템

Abstract

영상에서 콘텐츠와 무관한 객체는 시청자가 중심 객체에 집중하지 못하게 하며, 개인정보 유출과 같은 문제를 일으킬 수 있어 제거되어야 한다. 이에 본 논문에서는 경량화된 다중 객체 인페인팅 시스템을 제안한다. 중심 객체 선정 과정, 객체 추적 기술과 이미지 인페인팅(Image Inpainting) 기술을 결합하여 다중 객체를 효과적으로 제거하며, 시스템의 전 과정을 자동화하여 빠른 성능을 보장한다. 제거 대상 객체를 파악하기 위해 다비스-볼드윈 지수(Davies-Bouldin Index)를 도입하여 중심 객체를 선정하는 방법론을 제안한다. 사람의 신체 부위에 대한 탐지 결과를 이용하여 세그멘테이션(Segmentation) 마스크에 준하는 하이브리드(Hybrid) 마스크를 생성하고, YOLOv7을 도입하여 다중 객체 추적 및 마스킹 작업을 자동화한다. 또한, 인페인팅 모델의 합성곱 블록을 이산 웨이블릿 변환(Discrete Wavelet Transform)과 깊이별 분리 합성곱(Depthwise Separable Convolution)으로 구성하여 모델의 복원 능력은 유지하면서 시스템의 추론 속도를 약 9 FPS 정도로 개선하였다. PSNR, SSIM, LPIPS, FPS의 지표를 이용하여 시스템을 평가한 결과, 기존 인페인팅 모델과 비교해 FPS 대비 높은 복원 성능을 보였다.|In the image, objects unrelated to the content can distract viewers from focusing on the main object, and may pose problems such as privacy breaches, necessitating their removal. In this paper, we propose a lightweight multiple-object inpainting system. By combining the main object selection process, object tracking technology, and image inpainting techniques, we effectively remove multiple objects while automating the entire process for swift performance. To identify the objects to be removed, we introduce the Davies-Bouldin Index and propose a methodology for selecting main objects. We generate a hybrid mask corresponding to the segmentation mask using detection results for human body parts and automate multiple object tracking and masking operations with the introduction of YOLOv7. Furthermore, we structure the convolution blocks of the inpainting model using Discrete Wavelet Transform and Depthwise Separable Convolution, maintaining the model's restoration capabilities while improving the system's inference speed to approximately 9 FPS. Evaluation of the system using metrics such as PSNR, SSIM, LPIPS, and FPS shows a higher restoration performance compared to existing inpainting models in terms of FPS.