멀티 토큰 예측 (MTP - Multi-Token Prediction, MTP)
소형 AI가 초안을 생성하고 대형 AI가 이를 검증하여 추론 속도를 획기적으로 높이는 기술
1 / 2
용례
"소형 AI로 초안을 생성해 대형 AI를 폭속화하는 멀티 토큰 예측이라는 기술을 구글이 발표함."
"3개의 가벼운 멀티 토큰 예측 모듈은 투기적 디코딩을 통해 추론 속도를 가속화하고 강화 학습의 효율성을 높입니다."
소형 AI가 초안을 생성하고 대형 AI가 이를 검증하여 추론 속도를 획기적으로 높이는 기술
"소형 AI로 초안을 생성해 대형 AI를 폭속화하는 멀티 토큰 예측이라는 기술을 구글이 발표함."
"3개의 가벼운 멀티 토큰 예측 모듈은 투기적 디코딩을 통해 추론 속도를 가속화하고 강화 학습의 효율성을 높입니다."