跳到主要内容

4 篇博文 含有标签「Docker」

Docker 容器化部署相关

查看所有标签

CentOS 7 + nerdctl 服务器编译 llama.cpp 完整指南 — 容器化构建与实测

· 阅读需 6 分钟

云服务器上搭 LLM 推理环境，最怕的不是模型本身，而是操作系统太老。本文记录在一台 CentOS 7 + nerdctl（containerd 系容器运行时）的服务器上，从裸系统到跑通 llama.cpp 编译、推理、HTTP 服务的完整过程，包括一个可复现的 Dockerfile 和全部踩坑记录。

LobeChat 自托管部署指南 — Docker 一条命令接 DeepSeek

· 阅读需 6 分钟

LobeChat 是当前最流行的开源 AI 聊天前端之一，界面漂亮、功能齐全，支持聚合多家大模型供应商。自己部署一台的好处很实在：对话数据不出自己的服务器，模型按需切换，还省了订阅费。本文给出一条命令的 Docker 部署方案，直接接 DeepSeek——国内直连、便宜、够用。

没有 docker daemon 的节点，怎么让 docker 命令照常工作？

· 阅读需 4 分钟

KubeKey 搭的 k8s 集群，节点上装的是 containerd + nerdctl，没有 docker daemon。平时操作没问题，但一旦要跑别人的脚本、CI 或者凭肌肉记忆敲 docker 命令时就傻眼了——docker: command not found。

这篇记录我写的一个 60 行 bash shim：把 docker 伪装成 nerdctl 的转发器，以及部署过程中踩到的一个 CentOS 7 专属的隐蔽坑。