희소 전문가 혼합 (Sparse Mixture-of-Experts, MoE, MoE - Mixture of Experts)
수조 개의 파라미터를 가진 거대 모델에서 모든 연산을 수행하지 않고, 특정 질문이나 작업에 가장 적합한 일부 전문가 파라미터만 활성화하여 연산 효율을 극대화하는 인공지능 아키텍처
1 / 2
용례
"MiMo-V2.5-Pro는 전체 1조 200억 개의 파라미터를 보유하고 있으나, 실제 추론 시에는 단 420억 개의 파라미터만 활성화하여 작동하는 전문가 혼합 구조를 갖추고 있습니다."
"통의천문 3.5는 총 3,970억 개의 매개변수를 보유하고 있으나 추론 시에는 단 170억 개만 활성화하여 4,000억 급의 지능을 훨씬 작은 모델의 속도와 메모리 요구 사양으로 구현했습니다."