MTP 드래프터 (Multi-Token Prediction Drafter)
대규모 언어 모델이 다음 토큰을 하나씩 생성하는 기존 방식에서 벗어나, 보조 모델을 통해 여러 개의 미래 토큰을 동시에 예측하여 전체적인 생성 속도를 높이는 기술
용례
"MTP 드래프터를 사용함으로써 Gemma 4 모델은 지연 시간 병목 현상을 줄이고 개발자를 위한 응답성을 개선했습니다."
대규모 언어 모델이 다음 토큰을 하나씩 생성하는 기존 방식에서 벗어나, 보조 모델을 통해 여러 개의 미래 토큰을 동시에 예측하여 전체적인 생성 속도를 높이는 기술
"MTP 드래프터를 사용함으로써 Gemma 4 모델은 지연 시간 병목 현상을 줄이고 개발자를 위한 응답성을 개선했습니다."