KV 캐시 (KV Cache)
대규모 언어 모델이 이전 토큰의 정보를 저장하여 재계산을 줄이는 메모리 영역
1 / 2
용례
"100만 토큰 컨텍스트 윈도우를 실행할 때 KV 캐시의 10%만 사용하며, 하이브리드 어텐션을 통해 KV 캐시 메모리 부담을 90% 줄임."
"터보퀀트는 임시 데이터나 키-값 캐시를 압축함으로써 인공지능 모델이 현재처럼 많은 양의 메모리를 독점할 필요가 없게 만듦."
대규모 언어 모델이 이전 토큰의 정보를 저장하여 재계산을 줄이는 메모리 영역
"100만 토큰 컨텍스트 윈도우를 실행할 때 KV 캐시의 10%만 사용하며, 하이브리드 어텐션을 통해 KV 캐시 메모리 부담을 90% 줄임."
"터보퀀트는 임시 데이터나 키-값 캐시를 압축함으로써 인공지능 모델이 현재처럼 많은 양의 메모리를 독점할 필요가 없게 만듦."