editoy

투기적 디코딩

가벼운 모델이 미래 토큰을 미리 예측하고 타겟 모델이 이를 일괄 검증하는 추론 최적화 기법

용례

"드래프트 모델이 여러 개의 미래 토큰을 선행하여 예측하고, 이를 타겟 모델이 일괄적으로 검증함."