AI 모델은 점점 더 커지고 복잡해지며, 연산 자원과 전력 소모가 크게 늘어나고 있습니다. 이에 따라 모바일 기기, 엣지 디바이스, IoT 환경에서도 AI를 원활히 실행할 수 있는 경량화 기술이 주목받고 있습니다. 대표적인 경량화 방법으로는 퀀타이제이션(Quantization), 프루닝(Pruning), 지식증류(Knowledge Distillation)가 있습니다. 이번 글에서는 이 세 가지 핵심 기술의 개념, 적용 방법, 장단점, 그리고 실제 활용 사례를 깊이 있게 살펴보겠습니다.
퀀타이제이션(Quantization) – 비트 수를 줄여 연산 효율 극대화
퀀타이제이션은 AI 모델이 사용하는 가중치(weight)와 활성화 값(activation)의 정밀도를 줄여 모델 크기와 연산량을 낮추는 기술입니다. 예를 들어 32비트 부동소수점(FP32)을 8비트 정수(INT8)로 낮추면 메모리 사용량은 약 4분의 1로 줄고, 하드웨어 가속기에서의 처리량은 크게 높아집니다. 특히 GPU, NPU, DSP가 INT8/FP16/BF16 같은 저정밀 연산을 네이티브로 지원하면서, 동일 전력 대비 더 많은 추론 요청을 처리할 수 있습니다. 모바일·엣지 환경에서는 이 차이가 배터리 수명과 지연(latency)로 직결되기 때문에 체감 이득이 큽니다.
다만 비트 수를 낮추면 양자화 오차가 생겨 정확도 하락이 발생할 수 있습니다. 이를 최소화하는 대표적인 접근이 포스트 트레이닝 퀀타이제이션(PTQ)과 퀀타이제이션 어웨어 트레이닝(QAT)입니다. PTQ는 학습이 끝난 모델을 소규모 교정 데이터로 캘리브레이션하여 스케일·제로포인트를 추정하는 방식으로, 빠르고 간단하지만 정확도 손실이 비교적 클 수 있습니다. QAT는 학습 단계에서 양자화 연산을 모사해(가짜 양자화, fake quant) 모델이 오차를 내재적으로 보정하도록 훈련하므로 정확도 보존에 유리합니다. 최근에는 가중치만 정수화하는 가중치 전용 양자화, 활성화까지 포함하는 대칭/비대칭 양자화, 채널별 스케일을 적용하는 per-channel 양자화 등 다양한 설계가 실험됩니다.
대규모 언어 모델(LLM)에서도 4비트, 심지어 2비트까지 양자화하는 연구가 빠르게 확산되고 있습니다. 예컨대 4비트 양자화를 적용하면 VRAM 점유가 절반 이하로 줄어 소비자용 GPU에서도 수십 억 파라미터 모델을 구동할 수 있게 됩니다. 이때는 그룹드 양자화, KV 캐시 양자화, 스케일 학습 등 정교한 기법이 동원되어 문맥 유지력과 생성 품질 저하를 억제합니다. 실무에서는 정확도 목표(예: 기준 대비 -0.5%p 이내), 지연 목표(p95 latency), 전력·열 설계 한계를 함께 최적화 기준으로 두고, 벤치마크 데이터셋과 실제 트래픽 로그를 모두 활용해 A/B 검증하는 것이 안전합니다.
프루닝(Pruning) – 불필요한 연결 제거로 모델 슬림화
프루닝은 신경망의 기여도가 낮은 가중치나 구조를 제거해 파라미터 수와 FLOPs를 줄이는 방법입니다. 접근은 크게 비구조적과 구조적으로 나뉩니다. 비구조적 프루닝은 임계값 이하의 개별 가중치를 0으로 만들어 희소성(sparsity)을 높입니다. 이 방식은 정확도 손실이 적고 미세 조정(fine-tuning)으로 복원력이 좋지만, 하드웨어가 희소 연산을 제대로 활용하지 못하면 속도 향상이 제한적일 수 있습니다. 반면 구조적 프루닝은 채널·필터·헤드·블록 단위로 통째로 제거하므로 실제 연산량과 메모리 접근이 직접 줄어 지연 단축과 스루풋 향상 효과가 확실합니다.
프루닝 전략은 한 번에 크게 자르는 글로벌 프루닝과 훈련 중 점진적으로 비율을 늘리는 스케줄 기반 프루닝으로 나뉘며, 보통은 후자가 안정적입니다. 중요도 평가는 가중치 크기(L1/L2), 그라디언트, 샤플리 값 근사, 채널별 감도 분석 등으로 수행하고, 프루닝 후에는 재학습으로 성능을 회복합니다. 이미지 모델에서는 ResNet, EfficientNet의 채널 프루닝으로 30~50% FLOPs 절감을, 트랜스포머에서는 어텐션 헤드·MLP 중간 차원 축소로 추론 시간을 20~40% 단축하는 결과가 다수 보고되었습니다. LLM에서는 가중치 공유, LoRA 어댑터와 결합한 구조 축소, 희소 어텐션 등과 함께 적용해 응답 품질 저하를 최소화합니다.
실무 팁으로는 (1) 목표 디바이스 기준으로 성능을 측정할 것(데스크톱과 모바일 NPU의 병목이 다릅니다), (2) 데이터 분포 드리프트에 대비해 프루닝 비율을 과하게 올리지 말 것, (3) 배포 전후 지표(정확도·p95 latency·메모리 피크·온도·스로틀링)와 에러 버짓을 정의해 롤백 기준을 명확히 둘 것을 권합니다.
지식증류(Knowledge Distillation) – 큰 모델의 지식을 작은 모델로
지식증류는 성능이 높은 대형 Teacher 모델의 지식을 작은 Student 모델이 학습해, 파라미터를 대폭 줄이면서도 정확도를 유지하도록 만드는 방법입니다. 일반적인 교차 엔트로피 학습이 정답 레이블만 보게 한다면, 증류는 Teacher의 소프트 확률 분포(온도 매개변수로 부드럽게 한 로짓)를 학습해 클래스 간 유사성·경계 정보를 함께 전수합니다. 결과적으로 Student는 데이터가 부족하거나 모델 용량이 작아도 일반화 성능이 좋아집니다.
증류 방식은 로짓 증류(출력 분포 모방), 피처 증류(중간 표현 정렬), 관계 증류(샘플 간 거리/유사도 보존) 등으로 세분화되고, 태스크 특성에 맞춰 혼용됩니다. NLP에서는 DistilBERT, TinyBERT, MobileBERT가 원본 대비 40~60% 파라미터 절감에 95% 내외의 성능을 보존했고, 비전에서는 ResNet/ViT의 중간 피처 맵을 정렬해 작은 CNN/ViT에 이식하는 방법이 널리 쓰입니다. LLM 영역에서는 지시 따르기(Instruction) 데이터로 Teacher의 스타일과 안전 가이드를 함께 전수하는 지시 증류, 다중 작업 데이터를 혼합한 멀티태스크 증류, 텍스트·이미지·음성을 아우르는 멀티모달 증류가 활발합니다.
증류의 관건은 데이터 커버리지와 손실 균형입니다. 실제 트래픽 분포를 반영한 샘플과 어려운 샘플(하드 예제)을 섞어 커버리지를 높이고, CE/증류 손실/피처 손실의 가중치를 탐색해 Student의 용량 한계에 맞는 최적점을 찾습니다. 또한 배포 환경에 맞춘 아키텍처(모바일은 깊이-별도 컨볼루션, 서버는 매트릭스 곱 최적화, 브라우저는 WebGPU 친화 구조)를 택해야 증류 이득이 온전히 속도·전력 이득으로 이어집니다.
결론
퀀타이제이션, 프루닝, 지식증류는 서로 대체재가 아니라 상호 보완적입니다. 보통은 QAT로 정확도 기반을 다지고, 구조적 프루닝으로 FLOPs를 깎은 뒤, 증류로 작은 아키텍처의 표현력을 끌어올리는 3단 콤보가 가장 안정적입니다. 여기에 모델 I/O 최적화(토큰 병렬화, 캐시 재사용), 런타임 튜닝(연산자 fusion, 그래프 최적화), 하드웨어 매핑(INT8 kernel, sparsity 지원)을 더하면 체감 속도와 비용이 크게 개선됩니다.
실전 체크리스트
- 성능 기준: 기준 모델 대비 허용 가능한 정확도 손실과 목표 지연/처리량 정의
- 데이터: 교정·검증·실트래픽 샘플 분리, 드리프트 모니터링 설계
- 양자화: PTQ→QAT 단계적 전환, per-channel 스케일, 활성화 클리핑 검토
- 프루닝: 구조적 우선, 중요도 평가+점진 스케줄, 재학습/조기종료 전략
- 증류: 로짓/피처/관계 손실 조합, 온도/가중치 탐색, Student 아키텍처-타깃 디바이스 정합
- 배포: 타깃 하드웨어 커널 지원 확인, 그래프 최적화(TensorRT/ONNX Runtime 등) 적용
- 관측: p95/99 지연, 메모리 피크, 전력/온도, 에러 버짓, 롤백 기준 자동화
대규모 모델이 표준이 된 지금, 경량화는 선택이 아니라 필수입니다. 초기에 약간의 정확도 손실을 감수하더라도, 사용자 경험과 비용·에너지 이득이 누적되면 전체 제품 경쟁력이 올라갑니다. 지금 프로젝트의 목표 디바이스와 지연 예산부터 정하고, 양자화→프루닝→증류 순으로 파일럿을 돌려 최적 조합을 찾아보세요.