KV 캐시 (KV Cache)
생성형 인공지능 모델이 추론 과정에서 이전 토큰들의 정보를 저장해두는 임시 저장 공간으로, 모델의 응답 속도와 효율성에 결정적인 역할을 하는 핵심 데이터 구조임
용례
"터보퀀트는 임시 데이터나 키-값 캐시를 압축함으로써 인공지능 모델이 현재처럼 많은 양의 메모리를 독점할 필요가 없게 만듦."
생성형 인공지능 모델이 추론 과정에서 이전 토큰들의 정보를 저장해두는 임시 저장 공간으로, 모델의 응답 속도와 효율성에 결정적인 역할을 하는 핵심 데이터 구조임
"터보퀀트는 임시 데이터나 키-값 캐시를 압축함으로써 인공지능 모델이 현재처럼 많은 양의 메모리를 독점할 필요가 없게 만듦."