희소 구조 (Sparse Architecture)
거대한 매개변수를 보유하되 연산 시에는 필요한 부분만 활성화하여 효율성을 극대화하는 설계 방식
용례
"이 모델은 총 1조 개의 매개변수를 보유하고 있지만, 단일 연산 과정에서는 420억 개만 활성화되어 이전 모델보다 약 3배 큰 규모를 유지하면서 효율성을 잡았습니다."
거대한 매개변수를 보유하되 연산 시에는 필요한 부분만 활성화하여 효율성을 극대화하는 설계 방식
"이 모델은 총 1조 개의 매개변수를 보유하고 있지만, 단일 연산 과정에서는 420억 개만 활성화되어 이전 모델보다 약 3배 큰 규모를 유지하면서 효율성을 잡았습니다."