llama.cpp

C 및 C++ 기반으로 대규모 언어 모델을 고가의 서버용 GPU 없이 일반 PC 및 로컬 하드웨어 환경에서 효율적으로 추론하도록 지원하는 오픈소스 런타임 프로젝트

용례

"로컬 추론 환경이 급격히 확장되면서 수조 단위 매개변수를 갖춘 초대형 모델도 소비자용 기기 분산 처리를 통해 실행 가능한 경로가 확보됨."