전처리-디코딩 분리 (Prefill-Decode Disaggregation)
추론 과정 중 입력을 처리하는 단계와 토큰을 생성하는 단계를 서로 다른 칩 풀에 나누어 배치하는 방식
용례
"OpenAI는 전처리-디코딩 분리를 하지 않기로 선택했으며, 이는 이론적 효율성보다 실제 운영의 편의성을 선택한 설계 철학이다."
추론 과정 중 입력을 처리하는 단계와 토큰을 생성하는 단계를 서로 다른 칩 풀에 나누어 배치하는 방식
"OpenAI는 전처리-디코딩 분리를 하지 않기로 선택했으며, 이는 이론적 효율성보다 실제 운영의 편의성을 선택한 설계 철학이다."