모델 증류 (Model Distillation, Distillation)
거대 인공지능 모델이 생성한 고성능 학습 데이터와 결과물을 소형 모델 학습에 활용하여 적은 비용으로 대형 모델에 준하는 성능을 확보하는 효율적인 기술적 최적화 방법론
1 / 4
용례
"앤스로픽은 알리바바 산하 연구소가 클로드의 소프트웨어 공학 및 추론 능력을 추출하기 위해 약 이만 오천 개의 가짜 계정을 운영하는 대규모 증류 캠페인을 진행했다고 주장했다."
"경쟁사 AI 시스템의 출력이 메타의 자체 학습 데이터와 모델 개발 프로세스를 오염시키는 것을 방지하고자 함."
"앤스로픽은 알리바바가 경쟁 모델을 학습시키기 위해 클로드의 출력물을 사용했다고 비난함."
"앤스로픽과 오픈AI는 이 스타트업이 자신들의 모델에서 능력을 불법적으로 추출하거나 증류했다고 비난함."