editoy logo

추론 토큰 (Inference Tokens)

인공지능 모델이 사용자 요청(프롬프트)을 처리하고 최종 결과물(응답)을 생성하는 과정에서 소비되는 계산 단위. 이는 모델 사용에 따른 비용 계산의 핵심 요소이며, 특히 '사고(Thinking)' 모드와 같이 복잡한 추론 과정을 거칠 때 더 많은 토큰이 소모되어 비용 효율성에 영향을 줄 수 있음

용례

"안전 추론에 토큰을 소모하는 것은 대규모 아키텍처 비효율성처럼 보입니다."