Distillation (증류)
거대 모델(Teacher Model)의 출력을 학습 데이터로 사용하여 더 작고 효율적인 소형 모델(Student Model)을 만드는 최적화 기법
용례
"소형 모델을 더 유능하게 만들기 위한 핵심 기술인 증류를 통해, 프런티어 모델을 먼저 보유해야 이를 소형 모델로 증류할 수 있음."
거대 모델(Teacher Model)의 출력을 학습 데이터로 사용하여 더 작고 효율적인 소형 모델(Student Model)을 만드는 최적화 기법
"소형 모델을 더 유능하게 만들기 위한 핵심 기술인 증류를 통해, 프런티어 모델을 먼저 보유해야 이를 소형 모델로 증류할 수 있음."