VGG-19 경량화 모델 기반 딥보이스 탐지 앱 개발

하이브리드 모델, 온디바이스 모델 추세

• 실제로 여러 분야의 모델들이 경량화를 위해 연구되고 있는 추세이다.
• 이에 대해 지난 10월, 퀄컴 본부장 은 “클라우드에서만 AI 처리를 실행하면 비용 부담이 크다"며 "100만개 토큰당 클라우드는 최대 4달러 비용이 발생하지만 온디바이스AI 기기에서는 비용이 거의 발생하지 않는다”고 설명하며 온디바이스 AI를 최대한 활용해야 함을 당부하기도 하였다.
• 서버 의존 방식과 온디바이스 방식의 서버비 차이는 접속한 사용자가 더 많아질수록, 더 뚜렷한 차이를 보인다.

 

데이터 전처리에서 고려한 기술은?

• 멜 필터 뱅크 연산
  • 사람의 달팽이관은 소리 주파수를 선형적으로 인식하지 않고, 높은 주파수보다 낮은 주파수를 더 잘 인식한다.
  • 예를 들어, 사람은 고주파인 11Kilohertz(kHz)와 10kHz의 소리는 거의 구분할 수 없지만, 저주파인 1.5kHz와 0.5kHz의 소리는 쉽게 구분할 수 있다.
  • 고주파보다 저주파를 더 잘 구분하는 비선형적 특징을 반영할 수 있도록, 수집한 음성데이터셋을 STFT로 변환한 이후 멜 필터 뱅크 연산을 수행하여 멜 스케일로 변환된 멜 스펙트로그램을 얻었다.
• 멜 스펙트로그램 vs MFCC
  • 멜 스펙트로그램을 입력으로 사용하는 경우가 일반적으로 더 높은 성능을 나타내지만, 멜 스펙트로그램에 DCT 연산을 거친 MFCC가 연산량 측면에서는 더 유리하다. (복소수 부분을 제외하고 실수 부분만 취하는 방식이기 때문)
  • 따라서 두 경우의 수를 모두 테스트하여 성능을 비교하였고, 정리된 결과에 따라 최종적으로는 MFCC의 입력 형식을 사용하였다.

 

왜 최종적으로 VGG19 모델을 선정했나?

• VGG의 깊고 폭넓은 구조는 성능 향상에 효과적이나, 연산량 및 모델 크기가 증가하기에 경량 딥러닝 모델에 적합하지는 않다.
• 그러나 VGG19는 이미지 분류 대회에서 여러 번 수상했을 정도로 이미지 분류에서 좋은 성능을 보이고 있는데, MFCC 데이터 또한 이미지와 비슷한 2D 구조를 가지므로, VGG19가 주로 이미지 처리에서 사용하는 방식과 매우 유사한 방식으로 음성 데이터를 처리할 수 있다.
• 또한, 3x3의 일관된 필터를 사용하는만큼 상대적으로 구조 변경이 쉽고, 따라서 여러가지 레이어 변경을 시도해볼 수 있다는 장점이 있다.

 

LSTM 모델이 사용되지 못한 이유

VGG19와 BiLSTM 모델 구조 비교

• LSTM은 음성 데이터를 타임스텝 단위로 처리하는데, 5-6초의 음성데이터를 25ms 간격으로 분할한다면 대략 100개의 타임스텝이 생성된다.
• 각 타임스텝마다 LSTM은 이전 상태를 고려하여 새로운 상태를 계산하므로, 시퀀스 길이가 길어질수록 연산량이 증가한다. 따라서 VGG19와 마찬가지로 경량화에 적합한 모델은 아니다.
• 다만 VGG와 달리, 구조를 변경하여도 순차적 연산 모델이기에 병렬화되지 못한다. 또한 MFCC는 짧은 단위 시간에서의 특징을 이미 잘 추출한 데이터인데, 시간 의존성을 또 학습하려고 한다면 모델이 불필요한 정보에 집중하게 되어 과적합이 발생하기도 한다.

 

vgg19 특징 정리

 

정확도 유지 및 모델 경량화를 위해 시도한 또 다른 방법은?

• 대표적인 경량 아키텍처인 MobileNet 이용 
  • MobileNet은 1-2 초 분량의 짧은 음성 데이터에 적합해 키워드 탐지 분야에서 두각을 나타내는 모델인만큼, 전국의 억양을 포함하며, 음향적 특징을 담을 수 있는 5-6초 분량을 확보해야 하는 딥보이스 음성 탐지에는 적합하지 않았다.
• 양자화
  • 양자화 시 모델의 크기와 계산량은 큰 폭으로 줄기 때문에, 양자화 적용 시 유의미한 경량화 성능을 보인 것은 사실이다.
  • 32비트 부동소수점을 8비트 정수로 양자화한다면, 모델의 크기는 무려 1/4배가 되는 것이기 때문이다.
  • 그러나 성능 면에서 구조 변경 모델이 훨씬 좋았기에, 양자화 적용 모델이 최종 모델이 되지는 못했다.
• 지식증류
  • 지식증류를 적용하면 모델 크기와 계산량을 대폭 줄이면서도 성능이 크게 떨어지지 않기 때문에, 양자화와 비슷한 경량화 효과를 보였다.
  • 그러나 이 방법 역시 최종 모델의 성능에는 미치지 못했다.

 

커스텀 vgg19 모델을 기존 vgg19 모델과 비교

 

커스텀 vgg19 모델의 구조

 

하이퍼파라미터 튜닝

• 훈련 데이터와 검증 데이터 간의 성능 차이, 손실 값의 변화 추이, 모델 복잡도를 고려하여 과적합 여부를 판단함
• 그 결과 Batch Size 32, dropout 0.5일 때 최적의 성능이 나오는 것을 확인함

TFLite 이용 시, API로 간단히 모델을 경량화하는 것과는 무엇이 다른가?

• TFLite 적용시 모델 가중치가 압축되고, 연산 최적화가 이루어진다.
• 따라서, TFLite 적용시에는 필수적으로 모델의 정확도가 떨어지게 되는데, 단순히 TFLite API를 적용하는 것은 TensorFlow 모델을 자동적으로 경량화하는 것에 불과하므로, 정밀도 손실이 크게 나타날 수밖에 없다.
• 따라서 이를 적용하기 전, 모델의 파라미터를 최소화시키는 것이 중요하다.
• 얼핏 생각하면 모델 경량화에 이어 TFLite로 인한 추가적인 파라미터 손실로 인해 모델의 정확도가 더욱 감소하는 것 아닌가하는 의문이 들 수 있겠지만, 실제로 매우 많은 모델을 구현하며 비교해 본 결과, 본 프로젝트에서는 일차적으로 모델의 크기를 줄인 뒤 TFLite를 적용하면 정확도 감소 문제가 크게 개선되는 것을 확인할 수 있었다.

Android Studio에서 코드 구현

• MFCC 추출
  • 입력 데이터의 전처리 과정과 동일 하게, FFT 계산→ Mel 필터 적용 로그 변환 → DCT 과정을 코드로 구현하였다.
• CNN 입력데이터 생성
  • 2D 행렬로 압축 → CNN 입력 크기(224x224x3)로 입력 구조를 맞춰주었다.

실제 기기에서 실시간으로 동작

• Google Drive에 저장된 음성 파일을 입력 데이터로 이용할 수 있도록 하는 기능도 구현해 놓았지만, 사용자가 앱의
  메인화면에서 실시간으로 음성을 녹음한 뒤 판별 버튼을 눌러도 바로 모델의 탐지 결과가 나올 수 있도록 구성했다.
• 또한, 가짜 음성을 구성할 때에는 기존 모델 학습에 사용한 Al-hub 데이터셋을 재사용하지 않고, 클로바노트 AI를 이용해 새로 합성한 음성을 테스트할 수 있도록 하였습니다.