혼합 전문가 아키텍처 (Mixture-of-Experts, MoE)
전체 매개변수 중 추론 시 필요한 일부 전문가 계층만 활성화하여 계산 효율성과 처리 속도를 극대화하는 인공지능 설계 방식
용례
"이 모델은 300억 개의 매개변수를 보유하고 있으나 추론 시에는 30억 개만 활성화하는 설계 덕분에 단일 그래픽 처리 장치에서도 구동이 가능하면서도 성능을 유지한다."
전체 매개변수 중 추론 시 필요한 일부 전문가 계층만 활성화하여 계산 효율성과 처리 속도를 극대화하는 인공지능 설계 방식
"이 모델은 300억 개의 매개변수를 보유하고 있으나 추론 시에는 30억 개만 활성화하는 설계 덕분에 단일 그래픽 처리 장치에서도 구동이 가능하면서도 성능을 유지한다."