컨텍스트 캐시 (Context Cache)
자주 사용되는 시스템 지시문이나 대화 이력 등 공통 입력 부분을 재계산하지 않고 저장 및 재활용하여 추론 비용을 대폭 절감하는 기술
용례
"동일한 접두 부분이 일치할 경우 재계산을 생략하여 캐시가 적용된 입력 단가를 비적용 입력 대비 크게 낮추는 요금 체계를 형성함."
자주 사용되는 시스템 지시문이나 대화 이력 등 공통 입력 부분을 재계산하지 않고 저장 및 재활용하여 추론 비용을 대폭 절감하는 기술
"동일한 접두 부분이 일치할 경우 재계산을 생략하여 캐시가 적용된 입력 단가를 비적용 입력 대비 크게 낮추는 요금 체계를 형성함."