토큰 처리량 (Token Throughput)
AI 모델이 텍스트 등의 데이터를 생성하는 속도를 나타내는 지표로 성능 측정의 핵심 기준임
용례
"내부 테스트 결과 다수 사용자의 AI 작업 요청을 처리할 때 훨씬 높은 토큰 처리량을 달성했습니다."
AI 모델이 텍스트 등의 데이터를 생성하는 속도를 나타내는 지표로 성능 측정의 핵심 기준임
"내부 테스트 결과 다수 사용자의 AI 작업 요청을 처리할 때 훨씬 높은 토큰 처리량을 달성했습니다."