추론 처리량

단위 시간당 모델이 처리할 수 있는 토큰의 양으로, 서비스 운영 비용 및 사용자 경험과 직결되는 지표