editoy

게이티드 델타 네트워크 (Gated Delta Networks)

긴 문장을 처리할 때 연산량이 기하급수적으로 늘어나는 표준 트랜스포머 구조의 한계를 극복하기 위해 도입된 선형 주의 집중(Linear Attention) 메커니즘. 데이터 처리 효율을 높여 긴 문맥을 다룰 때도 속도 저하를 최소화하는 기술

용례

"통의천문 3.5는 게이티드 델타 네트워크와 전문가 혼합 구조를 결합한 하이브리드 아키텍처를 사용하여 이전 세대보다 해독 처리량을 8.6배에서 최대 19배까지 끌어올렸습니다."