스펙큘러티브 디코딩 (Speculative Decoding)
무거운 타겟 모델과 가벼운 드래프터 모델을 결합하여, 가벼운 모델이 미리 예측한 토큰을 타겟 모델이 병렬로 검증함으로써 연산 효율을 극대화하는 방식
용례
"전문화된 스펙큘러티브 디코딩 아키텍처를 사용하여 출력 품질이나 추론 로직의 저하 없이 최대 3배의 속도 향상을 제공합니다."
무거운 타겟 모델과 가벼운 드래프터 모델을 결합하여, 가벼운 모델이 미리 예측한 토큰을 타겟 모델이 병렬로 검증함으로써 연산 효율을 극대화하는 방식
"전문화된 스펙큘러티브 디코딩 아키텍처를 사용하여 출력 품질이나 추론 로직의 저하 없이 최대 3배의 속도 향상을 제공합니다."