Ollama
대규모 언어 모델을 개인 로컬 환경에서 간편하게 내려받아 구동할 수 있도록 지원하는 대표적인 오픈소스 로컬 AI 추론 런타임 플랫폼
용례
"앱에 일관된 단일 엔드포인트를 제공하는 동시에 가용 로컬 연산 자원으로 요청을 지능적으로 프록시 전달."
대규모 언어 모델을 개인 로컬 환경에서 간편하게 내려받아 구동할 수 있도록 지원하는 대표적인 오픈소스 로컬 AI 추론 런타임 플랫폼
"앱에 일관된 단일 엔드포인트를 제공하는 동시에 가용 로컬 연산 자원으로 요청을 지능적으로 프록시 전달."