지식 증류 (Distillation, Knowledge Distillation)
거대 모델이 학습한 복잡한 지식을 작고 효율적인 모델에 전이시키는 기법으로, 적은 비용으로도 최첨단 모델에 근접한 성능을 내게 하는 효율 중심의 학습 전략
1 / 2
용례
"딥시크는 기존 선도 모델들의 데이터를 활용하는 증류 방식을 통해 연구 개발 비용을 최소화하면서도 세계 최고 수준의 성능을 구현하는 데 성공했습니다."
"지식 증류는 모든 플래시 모델 혁신의 원동력이며, 가장 뛰어난 최신 모델을 보유해야만 이를 활용해 가장 우수한 소형 모델을 만들어낼 수 있음."