MFCC(Mel-Frequency Cepstral Coefficient)

✅MFCC란?

• MFCC
  • 오디오 신호에서 추출할 수 있는 소리의 고유한 특징을 나타내는 수치
  • 기술적으로는 Mel Spectrum에서 Cepstral 분석을 통해 추출된 값을 의미

• MFCC 사용 예
  • 화자 검증(Speaker Verification)
    • 화자 인식(Speaker Recognition)의 세부 분류
    • 화자가 특정 그 사람이 맞는지를 확인하는 기술
    • 시스템에 등록된 특정한 음성으로 유사도를 계산하여 화자를 확인
  • 음악 장르 분류(Music Genre Classification)
    • 음악의 특정 구간에서 여러 feature를 추출하여 장르를 분류

☑️MFCC의 추출 과정

1. 오디오 신호를 프레임별(보통 20-40ms)로 나눈다
2. 나눈 각 프레임에 대해 FFT를 적용해 Spectrum을 구한다
3. Spectrum에 Mel Filter Bank를 적용해 Mel Spectrum을 구한다
4. Mel Spectrum에 Cepstral Analysis을 적용해 MFCC를 구한다

 

✅FFT(Fast Fourier Transform)

• FFT
  • 신호를 시간 차원에서 주파수 성분으로 변환하는 알고리즘
  • 기존의 이산 푸리에 변환(DFT)을 빠르게 수행하는 데 최적화된 알고리즘
• 단점
  • 시간도메인의 정보를 완전히 잃어버림
  • 즉, 시간의 흐름에 따른 주파수 변환은 알기 어려움

✅Spectrum

• Spectrum
  • 주파수(가로축)에 따른 음압(세로축)의 표현
  • 각 주파수 대역별 세기를 알 수 있음

• 배음 구조
  • 소리는 기본 주파수(fundamental frequency)와 함께 기본 주파수의 정수배인 배음(harmonics)들로 구성됨
  • 배음 구조는 악기나 성대의 구조에 따라 달라지며, 배음 구조의 차이가 음색의 차이를 만듦

따라서, Spectrum에서 배음 구조를 유추해낼 수 있다면 소리의 고유한 특징을 찾아낼 수 있음

 

✅Cepstral Analysis

• 포먼트(Formants)
  • 피크(peak), 소리가 공명되는 특정 주파수 대역을 뜻함
  • 소리는 성도를 지나면서 포먼트를 만나 증폭되거나 감쇠됨
  • 포먼트는 배음과 만나 소리의 필터 역할을 함
  • 따라서, 포먼트는 소리의 특징을 유추할 수 있는 중요한 단서임
• Spectral Envelope
  
  • 포먼트들을 연결한 곡선
• Cepstral Analysis
  • Spectral Envelope에서 Spectrum을 분리하는 작업
  • log와 IFFT(Inverse FFT - 역 고속 푸리에 변환) 알고리즘이 사용됨

 

✅Mel Spectrum

• Mel Scale
  • 사람의 청각기관은 고주파수(high frequency) 보다 저주파수(low frequency) 대역에서 더 민감
  • 사람의 이런 특성을 반영해 물리적인 주파수와 실제 사람이 인식하는 주파수의 관계를 표현한 것
  • Filter Bank를 나눌 때 어떤 간격으로 나눠야 하는지 알려주는 역할
• Mel Spectrum
  • Mel Scale에 기반한 Filter Bank를 Spectrum에 적용하여 도출한 것

---

✅STFT(Short-Time Fourier Transform)

• STFT
  • time window를 움직이며 FFT를 수행시키는 것
• 단점
• 초기 신호를 Window length에 따라 분리시키기 때문에 푸리에 변환에 사용되는 신호의 길이를 감소시키고, 따라서 주파수 Resolution이 악화됨
• Window length를 증가시켜 주파수 Resolution을 향상시켜도, 시간에 대한 Recolution은 반대로 악화됨

 

---

참고

https://brightwon.tistory.com/11