editoy logo

AI 추론 (AI Inference)

학습 과정을 마친 인공지능 모델이 새로운 데이터를 입력받아 실제 사용자에게 예측, 답변, 결과물 등을 생성하여 제공하는 단계. AI 모델을 운영하는 데 필요한 지속적이고 반복적인 컴퓨팅 비용의 대부분을 차지하며, 이 비용을 절감하는 것이 대규모 언어 모델(LLM) 서비스의 수익성을 결정하는 핵심 요인

용례

"Maia 200은 AI 토큰 생성의 경제성을 획기적으로 개선하도록 설계된 획기적인 추론 가속기"