양방향 어텐션 (Bidirectional Attention)

특정 단어를 생성할 때 앞선 맥락뿐만 아니라 생성하고자 하는 문장 전체 및 뒷부분의 미래 맥락까지 동시 참조 및 처리할 수 있는 주의 집중 메커니즘

용례

"캔버스의 모든 토큰이 서로를 참조할 수 있도록 하여 코드 인필링, 인라인 편집, 단백질 서열 분석 등 비선형적 도메인에서 압도적인 강점을 제공함."