[사고 변천] 음악 유사도 검사 전략의 사고 과정

 

특징값 추출

 

음악 데이터에 대해 분석을 하기위하여

MFCC를 통해 특징값을 도출하는 방식을 선택했다.

MFCC 변환과정 :  중간 발표자료 발췌본

중간 발표 자료

 

영상 데이터를 처리해본 경험을 기반하여

푸리에 변환을 통한 특징추출에 대해서는 이해하고 있었지만

MFCC에서는 해당 과정 이후,

사람의 가청 영역대의 특징을 적용하여 

필터링을 거치게 되는 점에서 차이가 주어진다.

 

 

---

 

첫 번째 문제 인식

 

 

MFCC 또한 FFT과정을 거치며 특징값들을 도출해냈기에

특징을 잘 표현해줄 수 있겠지만,

음성데이터는 시계열적인 변화에 비교적 불변한 특징을 가졌기에

피치와 템포 등의 변화에 처리가 요구될 것이다.

 

 

영상의 경우라면, 코너 검출( LSM, RANSAC )

혹은 특징서술자( BRIEF, ORG, SURF, SIFT )를 이용하여

일부 변형이 존재할 지라도 그래디언트 값의 방향 등을 기반하여

검출이 가능하였다.

과거 학습자료 일부

 

 

그렇다면

일부 변형(커버곡, 리믹스곡)이 있는 곡에 대해서

어떻게 일치함을 추출해낼 수 있을까?

 

 

---

 

첫 번째 문제 답안

 

 

높은 인용수를 가졌던 논문들과

관련 서비스 그리고 라이브러리를 통해 알아본 결론으로

다음과 같은 방안을 통하여 유사도 검사를 진행함을 알게 되었다.

 

1. Chroma 기반 유사도:
   Chroma 특징은 음악에서 음높이를 표현하는데 사용
   음악의 조화 및 음악 구조를 특징화
2. 소리 신호 간의 상관관계:
   음악 유사도를 측정하기 위해 신호 처리 기술을 사용
   소리 신호 간의 상관관계를 분석
3. 주파수 영역 분석:
   음악을 주파수 영역에서 분석
   주파수 대역별로 음악의 특성을 추출하고 비교
4. Dynamic Time Warping (DTW):
   시간 축에서 음악 구조의 유사성을 비교하기 위해 사용되는 기술
   음악의 리듬 및 구조를 비교하여 유사성을 측정
5. AI: 
   음악 스펙트로그램 등을 입력값으로 활용해 군집화 혹은 그 외의 방식으로 추론
   K-means, CNN, MNIST

 

 

 

---

 

 

 

벡터 DB 도입

: 벡터값에 대한 유사도 탐색 대안으로 제시됨

도입을 위한 인덱스 간의 특성 학습