사운드의 실시간 비주얼 시뮬레이션

Abstract

최근 과학 기술의 발전과 함께 서로 다른 감각기관에 바탕을 둔 예술을 융합시킨 새로운 형태의 연구가 활발히 진행되고 있다. 특히 시각과 청각을 연관 지으려는 시도는 사운드 시각화라는 개념으로 그 범위를 넓혀가고 있다. 사운드 시각화는 청각적 요소와 시각적 요소를 연동하는 것으로 음악을 시각적으로 표현하는 것을 말한다. 이러한 사운드 시각화는 우리 주변에서 쉽게 찾아 볼 수 있는데 음악에 맞춰 움직이는 음악 분수나 음악에 따라 다양한 시각효과를 만들어내는 미디어 플레이어가 대표적인 예라고 할 수 있다. 음악에 따른 시각효과로는 이퀄라이저 효과가 일반적으로 사용된다. 이퀄라이저 효과는 사운드의 템포, 데시벨 등의 특징을 시각적으로 표현한 것으로 막대그래프 형태가 일반적이다. 막대그래프 외에도 파동, 파티클 등의 다양한 형태가 존재하지만 대부분 그래픽 패턴과 사운드 주파수에 따른 색상 변화에만 주목하고 있다. 본 논문에서는 사운드 이퀄라이저 기법을 활용하여 이미지가 가지고 있는 콘텐츠의 형태를 유지하는 2.5차원의 이미지 이퀄라이저를 제안한다. 여기서 콘텐츠란 이미지가 가지고 있는 텍스트, 캐릭터 등이 될 수 있으며, 이러한 콘텐츠를 유지시키기 위한 방법으로 마스킹 기법을 이용한다. 동적인 시뮬레이션을 위해서는 사운드가 활용된다. 입력되는 사운드를 기반으로 이퀄라이저를 생성하기 위해서는 사운드 분석과정이 필요하다. 제안하는 시스템은 사운드를 분석하기 위해 고속 푸리에 변환(Fast Fourier Transform : FFT) 알고리즘을 이용한다. 고속 푸리에 변환을 이용해 사운드의 주파수성분을 추출하고, 추출된 데이터를 기반으로 이퀄라이저를 생성한다. 보통 그래픽 이퀄라이저는 2차원 공간상에 표현되는데 2차원 공간은 Degree of freedom(DOF)의 제약이 있어 입체적인 움직임을 표현하기에 어려움이 있다. 이러한 공간적 제약을 해결하기 위해 우리는 격자 기반으로 이퀄라이저를 생성한다. 이퀄라이저는 사운드의 주파수 성분에 의해 생성되는데 샘플링 된 주파수 데이터는 관심영역의 픽셀 수 보다 적어 주파수 값과 관심영역 상의 픽셀을 1:1 매칭 시킬 수 없다. 제한된 수의 주파수 데이터를 관심영역과 매칭 시키기 위해 모듈러 기법을 사용하고 생성된 이퀄라이저에 가우시안 필터(Gaussian Filter)를 적용하여 컨볼루션 시킴으로써 음악과 연동되는 이미지 이퀄라이저를 생성할 수 있다. 본 논문은 사용자가 원하는 이미지 내의 콘텐츠 형태를 유지시키면서 입력 음악과 동기화되는 이퀄라이저를 생성하여, 최종적으로는 정적인 2차원이미지를 2.5차원의 동적 시뮬레이션으로 표현하였다. 이는 사용자의 피드백을 받아 이퀄라이저를 생성할 수 있다는 점에서 기존 이퀄라이저와 차별성이 있으며, 그래픽의 패턴에만 집중하는 기존 방식의 이퀄라이저에서 벗어난 새로운 형태의 이미지 이퀄라이저로써 음악과 함께 감상하는 그림 등에 유용하게 활용될 수 있다.