하이브리드 어텐션 (Hybrid Attention)
데이터의 맥락을 파악할 때 연산 복잡도를 줄이면서도 긴 문맥을 기억할 수 있게 하는 메커니즘
용례
"표준 트랜스포머와 달리 7대 1의 하이브리드 비율을 활용하여 100만 토큰에 달하는 거대한 문맥 창을 성능 저하 없이 관리합니다."
데이터의 맥락을 파악할 때 연산 복잡도를 줄이면서도 긴 문맥을 기억할 수 있게 하는 메커니즘
"표준 트랜스포머와 달리 7대 1의 하이브리드 비율을 활용하여 100만 토큰에 달하는 거대한 문맥 창을 성능 저하 없이 관리합니다."