하이브리드 슬라이딩 윈도우 어텐션 (Hybrid Sliding Window Attention)

긴 문맥을 처리할 때 과거의 정보를 효율적으로 기억하기 위해 국소적 정보와 전역적 정보를 선택적으로 조합하여 연산량과 메모리 사용량을 줄이는 기술

용례

"이 기술적 기반은 모델이 시각 및 청각 처리를 위해 외부 도구에 의존하는 대신 네이티브하게 보고 듣고 추론할 수 있게 해주는 핵심 동력입니다."