News articles related to the tag LocalAI.
* Multi-Token Prediction(MTP) 드래프터 출시를 통한 추론 속도 최대 3배 향상 및 지연 시간 단축. * 전문화된 스펙큘러티브 디코딩 아키텍처 활용을 통한 모델 응답성 개선 및 출력 품질 유지. * 로컬 워크스테이션부터 모바일 엣지 기기까지 폭넓은 하드웨어 최적화 및 배터리 효율성 제공. * Apache 2.0 라이선스 기반의 오픈 소스 가중치 공개로 개발자 접근성 및 다양한 플랫폼 연동성 극대화.
* Perplexity와 Nvidia의 협업으로 클라우드 없이 사용자 로컬 하드웨어에서 구동되는 AI 에이전트 'Portable Computer' 출시 * 데이터의 로컬 제어를 통한 보안 강화 및 토큰 비용 제로화를 통한 운영 효율성 극대화 * 소규모 로컬 모델의 한계를 극복하기 위해 모델과 에이전트 하네스를 통합 설계하여 성능 및 정확도 향상 * RTX 3090 이상의 GPU를 탑재한 Linux 및 Windows 환경 지원을 통한 AI 워크로드의 로컬 전환 가속화
* Alibaba의 Qwen3.8-27B 및 Qwen3.8-2.4T-A95B 오픈 웨이트 모델 공개 * Qwen3.8-27B의 코딩 및 사무 워크플로우 성능이 Anthropic의 Opus 4.6 수준에 도달 * 비디오를 포함한 네이티브 멀티모달 기능 탑재 및 로컬 환경 구동 가능성 확인 * `preserve_thinking` 및 `reasoning_effort` 등 추론 제어 기능의 도입