editoy logo

FP4/FP8 정밀도 (Floating Point Precision, 4/8-bit)

AI 모델 계산에 사용되는 데이터의 정밀도를 나타내는 방식으로, 숫자를 표현하는 데 사용되는 비트 수. FP32 등 고정밀도 대비 FP4(4비트)나 FP8(8비트)과 같은 저정밀도를 사용할 경우 메모리 사용량과 컴퓨팅 자원을 크게 줄여 AI 추론 속도와 에너지 효율을 높일 수 있으며, LLM 운영 비용 절감에 필수적인 기술

용례

"Maia 200은 4비트 정밀도(FP4)에서 10 페타플롭스 이상의 성능을, 8비트 정밀도(FP8)에서는 5 페타플롭스 이상의 성능을 제공"