음원분리를 이용한 대중음악의 구조분석에 관한 연구. 추천 없이 원하는 음악을 찾을 수 있는 대표적인 방법이 바로 미리듣기 서비스입니다.
따라서 음악구조 분석에 대한 연구는 장르에 따라 다른 접근방식이 필요할 것이다. 음원 분리의 또 다른 장점은 장르별로 달라지는 대중음악의 음악적 특성을 활용한 구조적 분석에 활용될 수 있다는 점이다.
이러한 점을 바탕으로 많은 연구자들이 음악구조의 인식에 관한 실험을 진행해왔다. 연속적인 음표로 구성된 음악에서 음높이의 변화는 구조적 인식을 나타내는 중요한 척도입니다.
- 특성 벡터의 추출
- 유사성 비교
- 경계 검출
- 기존 연구의 한계
앞서 설명한 것처럼 음악은 유사한 음악적 특성을 유지한 뒤 반복을 통해 변화시키는 방식으로 구성됩니다. 예를 들어, 운문-코러스 구조에서는 악기의 구성은 운문에서 유지되지만, 코러스에 보다 다양한 악기가 사용됨에 따라 악기의 구성이 달라집니다.
음악에서의 주파수 특성
따라서 대부분의 음악 관련 분석 문제에서는 오디오 데이터를 주파수 영역으로 시간 변환하여 분석합니다. 그러나 여러 악기를 혼합할 경우 각 악기마다 특성이 다르기 때문에 구별하기가 쉽지 않습니다. 불규칙한 주파수 성분은 18초에 보컬이 나타나고 34초에 드럼 성분이 일시적으로 사라져 스펙트로그램에 수직선이 보이지 않는 것을 확인할 수 있습니다.
화성악기는 배음구조를 갖고 있기 때문에 연주하는 음높이의 정수배 주파수에서도 에너지를 갖고, 지속시간이 긴 특징도 있다. 이 정보를 사용하여 우리는 고조파 및 타악기의 시간적 및 주파수 연속성과 스펙트로그램에서 보컬이 드물게 나타나는 점을 활용했습니다. 음원을 보컬과 반주로 분리하고, 반주도 화성악기와 타악기로 구성한다면, 각각의 특성에 따라 특성 벡터를 명확하게 추출할 수 있다는 장점이 있다.
이 주파수축 성분 P를 2단계 분리과정에서 입력으로 사용하는 경우, H는 시간에 따라 변화하는 성분을 포함하고, P성분에서 타악기 성분이 분리된다. 화성악기 구성요소를 활용하기 위해 음원 분리를 활용한 연구 외에도 리듬을 표현하는 특성 벡터에 활용한 사례도 있다. 보컬은 화성학, 타악기 외에 대중음악에서 큰 부분을 차지하기 때문에 대중음악 분석에서는 보컬 성분에 대한 분석이 필요하다.
시스템 개요
제안하는 시스템은 크게 학습 모델을 생성하는 부분과 경계를 감지하는 부분으로 나누어진다. 다음으로, 사용된 데이터 세트에 미리 정의된 답안에 해당하는 컷오프 포인트를 포함하는 훈련 데이터가 생성됩니다. 이 훈련 데이터는 적응형 부스팅 알고리즘을 사용하여 검사되어 훈련 모델을 생성합니다.
시스템 구성
추출된 특징 벡터는 인접한 프레임 간의 차이를 이용하여 유사성을 비교합니다. 이러한 점을 활용하여 본 연구에서 사용한 특징 벡터는 음색, 화성, 리듬 정보이다. 이는 여러 개의 특징 벡터를 결합하여 경계를 잘 설명하는 분류기가 형성되었음을 의미합니다.
이 중 다양한 스타일의 서양 대중음악으로 구성된 인터넷 아카이브 세트가 사용되었다. 장르별로 나누어 음악구조 분석방법의 영향력을 확인하기 위해 새롭게 생성된 데이터로 총 4명의 청취자가 음악을 듣고 경계의 시작시간을 분석한 후 스스로 답안지를 작성하였다. Turnbull의 연구에서는 Adaptive Boost 방식을 이용하여 성능을 평가하였으므로 Turnbull 방식과의 비교에 사용하였다.
예상 컷오프 지점이 정답으로부터 3초 이내이면 정답으로 판정하였다. 본 알고리즘과의 성능 비교를 위해 최근 MIREX를 통해 좋은 구조해석 성능을 보인 CNMF(Convex Non-Negative Matrix Factorization)를 사용하는 방법과 SF(Structure Feature Vector)를 사용하는 방법을 사용하였다[21]. 이를 위해 두 알고리즘에 대한 코드를 제공하는 msaf(Music Structure Analysis Framework) 도구를 사용하여 각 데이터 세트에 대한 두 알고리즘 중 𝐹 − 𝑚𝑒𝑎𝑠𝑢𝑟𝑒을 계산했습니다[41].
두 알고리즘의 비교에는 SALAMI 데이터세트와 장르별 데이터세트를 사용했습니다. 본 연구에서는 k=5인 k-겹 교차 검증을 사용하여 평가를 수행했습니다. 분리된 음원을 이용한 비교 알고리즘을 이용하여 구조해석을 수행하였다.
개선에 기여한 것으로 확인되었습니다. 장르별 학습 모델에서 선정된 특징 벡터와 가중치 분포를 살펴보면 각 장르의 특성이 반영되어 있음을 알 수 있다. 이는 음원 분리 성능이 향상됨에 따라 음악 구조 분석 성능도 향상될 것으로 기대할 수 있음을 의미한다.
참고 문헌
34; Music Segment Similarity Using 2D-Fourier Magnitude Coefficients." Acoustics, Speech, and Signal Processing (ICASSP), 2014 IEEE International Conference on p. 34; Musical Mood Classification Using Rhythm Unit and Bassline Pattern Analysis." Acoustic Speech and Signal Processing (ICASSP), 2010 IEEE International Conference on. 34; Learning Song Segmentation Using Ordinal Linear Discriminant Analysis.” Acoustics, Speech, and Signal Processing (ICASSP), 2014 IEEE International Conference on.
