开源项目高级

llama.cpp 推理引擎

ggerganov

学习难度高级

适合人群想在低配设备高效推理的开发者

语言英文

费用免费

资源类型开源项目

所属分类模型部署与服务

链接核验2026-10-18

资源简介

纯 C/C++ 实现的推理引擎，CPU 上也能运行大模型，是本地部署的事实标准之一。

推理引擎本地部署

访问资源 ↗

https://github.com/ggerganov/llama.cpp