혼합 전문가 (Mixture of Experts - MoE)
수많은 매개변수 네트워크 중 현재 입력된 프롬프트에 가장 적합한 특정 하위 전담 전문가 가중치망만 활성화하여 전체 연산 효율을 높이는 기법
용례
"전체 26B 매개변수 중 추론 시에는 단 3.8B만을 활성화하여 고성능 로컬 추론을 소형 하드웨어에서도 가능하게 함."
수많은 매개변수 네트워크 중 현재 입력된 프롬프트에 가장 적합한 특정 하위 전담 전문가 가중치망만 활성화하여 전체 연산 효율을 높이는 기법
"전체 26B 매개변수 중 추론 시에는 단 3.8B만을 활성화하여 고성능 로컬 추론을 소형 하드웨어에서도 가능하게 함."