양자화 (Quantization)
모델의 정밀도를 낮춰 메모리와 연산량을 줄이는 최적화 기법
1 / 2
용례
"수요 급증과 컴퓨팅 자원 부족으로 인해 모델을 양자화하여 성능 저하가 발생했다는 가설이 제기됨."
"메모리 용량을 초과하는 대형 모델을 구동하기 위해 극단적인 양자화가 적용되었으나, 이는 모델의 답변 품질을 심각하게 저하시키는 원인이 되기도 합니다."
모델의 정밀도를 낮춰 메모리와 연산량을 줄이는 최적화 기법
"수요 급증과 컴퓨팅 자원 부족으로 인해 모델을 양자화하여 성능 저하가 발생했다는 가설이 제기됨."
"메모리 용량을 초과하는 대형 모델을 구동하기 위해 극단적인 양자화가 적용되었으나, 이는 모델의 답변 품질을 심각하게 저하시키는 원인이 되기도 합니다."