혼합 전문가 모델 (Mixture of Experts - MoE, MoE, Mixture-of-Experts, Mixture of Experts)
모든 매개변수를 동시에 가동하지 않고 작업의 영역에 적합한 가상 도메인별 소형 특화 네트워크만을 정밀하게 활성화함으로써 작동 효율성과 데이터 처리 처리 속도를 혁신적으로 제고하는 대형 연산 기술 아키텍처
1 / 4
용례
"사용자가 시스템과 주고받는 방대한 사용 패턴 로그 정보를 토대로 하여 에이전트와 도구 간의 상호작용 논리를 완벽하게 분석하고 연산하는 구조를 가집니다."
"텐센트의 새로운 모델은 전체 매개변수 2,950억 개를 보유하고 있으나 매 연산마다 단 210억 개의 활성 매개변수만을 구동하는 고효율 설계를 탑재했습니다."
"26B 혼합 전문가 모델은 애플 실리콘에서 배치 사이즈 1일 때 독특한 라우팅 과제를 제시하지만, 다중 요청을 동시에 처리하면 로컬에서 최대 2.2배 속도 향상이 가능합니다."
"260억 개의 파라미터를 가진 혼합 전문가 모델은 추론 시 단 38억 개의 파라미터만 활성화하여 40억 급 모델 수준의 빠른 속도를 유지하면서도 260억 급의 지능을 제공하여 비용 효율성을 극대화함."