AI 추론 (AI Inference)
학습 과정을 마친 인공지능 모델이 새로운 데이터를 입력받아 실제 사용자에게 예측, 답변, 결과물 등을 생성하여 제공하는 단계. AI 모델을 운영하는 데 필요한 지속적이고 반복적인 컴퓨팅 비용의 대부분을 차지하며, 이 비용을 절감하는 것이 대규모 언어 모델(LLM) 서비스의 수익성을 결정하는 핵심 요인
용례
"Maia 200은 AI 토큰 생성의 경제성을 획기적으로 개선하도록 설계된 획기적인 추론 가속기"
학습 과정을 마친 인공지능 모델이 새로운 데이터를 입력받아 실제 사용자에게 예측, 답변, 결과물 등을 생성하여 제공하는 단계. AI 모델을 운영하는 데 필요한 지속적이고 반복적인 컴퓨팅 비용의 대부분을 차지하며, 이 비용을 절감하는 것이 대규모 언어 모델(LLM) 서비스의 수익성을 결정하는 핵심 요인
"Maia 200은 AI 토큰 생성의 경제성을 획기적으로 개선하도록 설계된 획기적인 추론 가속기"