LLM 토큰 처리량 (LLM Token Throughput)
AI 모델이 텍스트를 생성하는 속도를 의미하며 높을수록 빠른 응답이 가능함
용례
"엔비디아 DGX 스파크 대비 GPT OSS에서 7%, 큐웬 3.5에서 12% 더 빠른 토큰 생성 속도를 제공함"
AI 모델이 텍스트를 생성하는 속도를 의미하며 높을수록 빠른 응답이 가능함
"엔비디아 DGX 스파크 대비 GPT OSS에서 7%, 큐웬 3.5에서 12% 더 빠른 토큰 생성 속도를 제공함"