지식 증류 (Distillation)
방대한 파라미터를 가진 거대 모델(교사 모델)이 학습한 복잡한 지식을 더 작고 효율적인 모델(학생 모델)에게 전달하여 성능을 압축하는 기법. 이를 통해 소형 모델은 자신의 실제 크기보다 훨씬 뛰어난 능력을 발휘할 수 있게 됨
용례
"지식 증류는 모든 플래시 모델 혁신의 원동력이며, 가장 뛰어난 최신 모델을 보유해야만 이를 활용해 가장 우수한 소형 모델을 만들어낼 수 있음."
방대한 파라미터를 가진 거대 모델(교사 모델)이 학습한 복잡한 지식을 더 작고 효율적인 모델(학생 모델)에게 전달하여 성능을 압축하는 기법. 이를 통해 소형 모델은 자신의 실제 크기보다 훨씬 뛰어난 능력을 발휘할 수 있게 됨
"지식 증류는 모든 플래시 모델 혁신의 원동력이며, 가장 뛰어난 최신 모델을 보유해야만 이를 활용해 가장 우수한 소형 모델을 만들어낼 수 있음."