양자화 (Quantization)
AI 모델의 가중치 정밀도를 낮추어 메모리 점유율을 획기적으로 줄이고 연산 속도를 높이는 최적화 기법
용례
"메모리 용량을 초과하는 대형 모델을 구동하기 위해 극단적인 양자화가 적용되었으나, 이는 모델의 답변 품질을 심각하게 저하시키는 원인이 되기도 합니다."
AI 모델의 가중치 정밀도를 낮추어 메모리 점유율을 획기적으로 줄이고 연산 속도를 높이는 최적화 기법
"메모리 용량을 초과하는 대형 모델을 구동하기 위해 극단적인 양자화가 적용되었으나, 이는 모델의 답변 품질을 심각하게 저하시키는 원인이 되기도 합니다."