스펙큘러티브 디코딩 (Speculative Decoding)
작은 모델이 먼저 토큰을 예측하고 큰 모델이 이를 검증하여 생성 속도를 높이는 기술
1 / 3
용례
"스펙큘러티브 디코딩을 구현하면 Jalapeño는 토큰을 훨씬 더 비용 효율적으로 제공할 수 있게 될 것이다."
"디퓨전젬마를 로컬 환경에서 최고 성능으로 구동하기 위해서는 초안 토큰 블록을 제안하는 가벼운 드래프터 모듈이 필수적으로 요구됨."
"전문화된 스펙큘러티브 디코딩 아키텍처를 사용하여 출력 품질이나 추론 로직의 저하 없이 최대 3배의 속도 향상을 제공합니다."