Home

다음 단계로 Speech enhancment 모델을 테스트하기 위해서 임베디드 플랫폼을 선정해야 했습니다. Web, App, Desktop based 어플리케이션은 Denoiser가 있어 쉽게 모델을 실험해 볼 수 있었지만, 임베디드 시스템에서는 DSP 보드에서만 알고리즘을 설계해봤기 떄문에, 이 플렛폼에 모델을 테스트하기 위해 달성할 수 있는 목표로 두 가지 정했습니다. TODO 첫 번째는 마이크 스트리밍에 필요한 마이크에 해당하는 커널을 조작할 수 있는 것과 이를 스트리밍으로 불러와서 스피커나 파일형태로 내보낼 수 있는 플랫폼입니다. 그리고 다른 하나는 모델을 변환하...

보청기 스타트업에서 일하는 임베디드 DSP 엔지니어는 보청기로 들어오는 소리를 마이크로부터 데이터로 받아, 보드로 들어오는 아날로그 신호를 칼리브레이션하고, 이를 원하는 소리로 연산하여 스피커로 내보내는 개발입니다. 에어팟 프로나 갤럭시 버즈에서 보이는 Equalizer, 음량조절, 외부소리 듣기, 노이즈캔슬링과 같은 기능이 개발해야 하는 일이었습니다. 특히 다른 시스템보다 훨씬 하드웨어 스펙이 arm cortex-m0와 같이 낮으면서, 배터리 용량도 중요하기 때문에 알고리즘뿐 아니라 이를 최적화하여 에너지 소모량을 줄이는 것 또한 중요했습니다.

개발자분들과 이야기 나누다가 사이드프로젝트 이야기를 나눴던 적이 있었다. “저는 지금 무선이어폰을 만들고 있어요.” 내가 하는 프로젝트를 잠깐 언급하자 한 분이 “그게 가능한건가요?” 라고 되물어주셨었다. 어… 그건 짧게 답하기 어려운 질문이었다.

이번 글에서는 Knowledge Distillation에 대해서 다뤄 볼 예정이다.

이번 글에서는 지난시간에 이어 Quantization-Aware Tarining(QAT)부터 Binrary, Tenary Quantization, Low Bit-Wdith Quantization에 대해서 다뤄 볼 예정이다. 앞서서 Quantization 1편을 다른 포스트에 함께 기재해서 이번 포스트에서는 Quantization 1편과 합쳐진 포스트로 이동할게요.

앞서서 MIT에서 Song Han 교수님이 Fall 2022에 한 강의 TinyML and Efficient Deep Learning Computing 6.S965에서 경량화 기법으로는 Pruning을 정리하고 있다. 지난 글에서는 Granularity와 Criterion에 대해서 나눴다면 이번에는 Ratio, Fine-tuning, Lottery Ticket Hypothesis, System Support를 다뤄보고자 한다.

앞으로 총 5장에 걸쳐서 딥러닝 모델 경량화 기법들에 대해서 소개하려고 한다. 경량화 기법으로는 Pruning, Quantization, Neural Network Architecture Search, Knowledge Distillation, 그리고 Tiny Engine에서 돌리기 위한 방법을 진행할 예정인데 본 내용은 MIT에서 Song Han 교수님이 Fall 2022에 한 강의 TinyML and Efficient Deep Learning Computing 6.S965를 바탕으로 재정리한 내용이다. Pruning을 2번에 걸쳐서 정리할 예정이고 강의 자료와 영상은 이 링크를 참조하자!

이번 글에서는 MIT HAN LAB에서 강의하는 TinyML and Efficient Deep Learning Computing에 나오는 Quantization 방법을 두 차례에 걸쳐서 소개하려 한다. Quantization(양자화) 신호와 이미지에서 아날로그를 디지털로 변환하는 과정에서 사용하는 개념이다. 아래 그림과 같이 연속적인 센서로 부터 들어오는 아날로그 데이터 나 이미지를 표현하기 위해 단위 시간에 대해서 데이터를 샘플링하여 데이터를 수집한다.