전문가 혼합 (Mixture of Experts)
모델의 전체 매개변수 중 특정 연산에 필요한 일부 전문가 신경망 세트만 활성화하여 연산 효율과 메모리 사용량을 최적화하는 아키텍처
용례
"4,000억 개의 매개변수를 가진 모델이지만 전문가 혼합 구조를 통해 실제로는 토큰당 약 170억 개의 매개변수만 활성화되어 구동되는 방식입니다."
모델의 전체 매개변수 중 특정 연산에 필요한 일부 전문가 신경망 세트만 활성화하여 연산 효율과 메모리 사용량을 최적화하는 아키텍처
"4,000억 개의 매개변수를 가진 모델이지만 전문가 혼합 구조를 통해 실제로는 토큰당 약 170억 개의 매개변수만 활성화되어 구동되는 방식입니다."