혼합 전문가 모델 (Mixture of Experts - MoE)
전체 파라미터 중 특정 작업에 적합한 일부 전문가 그룹만을 활성화하여 추론 속도를 높이고 자원 소모를 줄이는 고효율 신경망 구조
용례
"260억 개의 파라미터를 가진 혼합 전문가 모델은 추론 시 단 38억 개의 파라미터만 활성화하여 40억 급 모델 수준의 빠른 속도를 유지하면서도 260억 급의 지능을 제공하여 비용 효율성을 극대화함."
전체 파라미터 중 특정 작업에 적합한 일부 전문가 그룹만을 활성화하여 추론 속도를 높이고 자원 소모를 줄이는 고효율 신경망 구조
"260억 개의 파라미터를 가진 혼합 전문가 모델은 추론 시 단 38억 개의 파라미터만 활성화하여 40억 급 모델 수준의 빠른 속도를 유지하면서도 260억 급의 지능을 제공하여 비용 효율성을 극대화함."