혼합 전문가 모델 (Mixture of Experts - MoE, MoE, Mixture-of-Experts)
모든 파라미터를 가동하지 않고 필요한 신경망 부분만 활성화하여 추론의 효율성을 높인 구조로, Gemma 4 26B 모델 등에 적용됨
1 / 2
용례
"26B 혼합 전문가 모델은 애플 실리콘에서 배치 사이즈 1일 때 독특한 라우팅 과제를 제시하지만, 다중 요청을 동시에 처리하면 로컬에서 최대 2.2배 속도 향상이 가능합니다."
"260억 개의 파라미터를 가진 혼합 전문가 모델은 추론 시 단 38억 개의 파라미터만 활성화하여 40억 급 모델 수준의 빠른 속도를 유지하면서도 260억 급의 지능을 제공하여 비용 효율성을 극대화함."