모델 증류 (Model Distillation, distilling, Distillation)
거대 모델의 지식을 작은 모델로 전이시켜 효율성과 비용을 최적화하는 기술
1 / 9
용례
"우리는 자체적으로 모델을 증류하며, 이것이 더 작고 저렴한 모델을 만드는 방법이다."
"미 재무부 장관은 이른바 모델 증류를 통해 미국 AI 지식 재산을 훔친 중국 기업에 제재와 수출 제한을 가할 수 있다고 경고함."
"Kimi K3가 출시된 후, 미국 관계자들과 Anthropic은 Moonshot이 미국 모델을 증류했다고 다시 한번 주장함."
"미국 재무장관은 이 기술적 용어를 도용이라고 불렀으며, 더 작고 능력이 낮은 모델이 기존의 더 강력한 모델의 출력을 사용하여 구축되는 AI 학습 방법이라고 설명함."
"미국의 선도 연구소들은 중국이 자사 시스템의 데이터를 부적절하게 수집하여 모델 개발을 가속화했다는 증류 이론을 제기함."
"앤스로픽은 알리바바 산하 연구소가 클로드의 소프트웨어 공학 및 추론 능력을 추출하기 위해 약 이만 오천 개의 가짜 계정을 운영하는 대규모 증류 캠페인을 진행했다고 주장했다."
"경쟁사 AI 시스템의 출력이 메타의 자체 학습 데이터와 모델 개발 프로세스를 오염시키는 것을 방지하고자 함."
"앤스로픽은 알리바바가 경쟁 모델을 학습시키기 위해 클로드의 출력물을 사용했다고 비난함."
"앤스로픽과 오픈AI는 이 스타트업이 자신들의 모델에서 능력을 불법적으로 추출하거나 증류했다고 비난함."