MoE (Mixture of Experts, 전문가 혼합)

"전문가 혼합 모델들은 128GB 메모리 환경에서 원활하게 작동함"

"모델 용량을 확장하면서도 연산 오버헤드를 적게 유지하며, 현대 딥러닝에서 희소 라우팅과 결합해 실용화됨"

"전문가 가중치가 대부분의 파라미터와 Muon 계산을 보유함."

"총 350억 개의 파라미터를 가지지만 실제로는 30억 개의 파라미터만 활성화되는 효율적인 전문가 혼합 모델임."

"엔비디아는 Vera Rubin 아키텍처를 통해 MoE 모델 훈련에 필요한 GPU 수를 4배 줄일 수 있다고 주장합니다."

"Rubin은 MoE 모델을 효율적으로 실행하여 AI 성능을 극대화합니다."