2 篇博文含有标签「Deployment」

模型与系统部署方案

CentOS 7 + nerdctl 服务器编译 llama.cpp 完整指南 — 容器化构建与实测

2026年8月27日 · 阅读需 6 分钟

云服务器上搭 LLM 推理环境，最怕的不是模型本身，而是操作系统太老。本文记录在一台 CentOS 7 + nerdctl（containerd 系容器运行时）的服务器上，从裸系统到跑通 llama.cpp 编译、推理、HTTP 服务的完整过程，包括一个可复现的 Dockerfile 和全部踩坑记录。

开源 LLM 部署方案全景 — 从本地 Ollama 到生产级 vLLM 集群

2026年8月25日 · 阅读需 8 分钟

开源 LLM 怎么部署，取决于你手里有什么算力、要服务多少人。本文不讨论引擎内部机制（选型见推理引擎选型），只给端到端部署方案：按算力场景分四档，每档给可跑命令、显存预算和踩坑。