开源项目
高级
vLLM 官方文档
vLLM 社区
资源简介
高性能 LLM 推理与服务引擎，PagedAttention 显著提升吞吐，支持主流开源模型。
https://docs.vllm.ai/
同类资源
查看模型部署与服务全部 →
开源项目
入门
★ 精选
Ollama 本地大模型工具
Ollama · 模型部署与服务
一条命令在本地运行开源大模型，支持 Windows / macOS / Linux，是本地部署入门首选。
开源项目
入门
Open WebUI
Open WebUI · 模型部署与服务
自托管的 AI 聊天界面，支持 Ollama 与 OpenAI 兼容 API，可离线部署到内网。
工具平台
入门
LM Studio 本地模型工具
LM Studio · 模型部署与服务
图形化的本地大模型运行工具，支持一键下载模型与本地对话，对新手友好。
开源项目
高级
llama.cpp 推理引擎
ggerganov · 模型部署与服务
纯 C/C++ 实现的推理引擎，CPU 上也能运行大模型，是本地部署的事实标准之一。
开源项目
高级
Hugging Face Text Generation Inference
Hugging Face · 模型部署与服务
Hugging Face 官方推理服务框架，支持连续批处理与张量并行，适合 API 化部署。
官方文档
入门
Gradio 官方文档
Gradio · 模型部署与服务
Python 机器学习演示界面库，几行代码把模型包装成可分享的网页应用。