멀티 토큰 예측 (MTP - Multi-Token Prediction)
한 번에 하나의 토큰만 예측하는 것이 아니라 여러 개의 토큰을 동시에 예측하여 추론 속도를 높이고 학습 효율을 개선하는 최신 기법
용례
"3개의 가벼운 멀티 토큰 예측 모듈은 투기적 디코딩을 통해 추론 속도를 가속화하고 강화 학습의 효율성을 높입니다."
한 번에 하나의 토큰만 예측하는 것이 아니라 여러 개의 토큰을 동시에 예측하여 추론 속도를 높이고 학습 효율을 개선하는 최신 기법
"3개의 가벼운 멀티 토큰 예측 모듈은 투기적 디코딩을 통해 추론 속도를 가속화하고 강화 학습의 효율성을 높입니다."