8 篇博文 含有标签「GPU」

开源 LLM 怎么部署，取决于你手里有什么算力、要服务多少人。本文不讨论引擎内部机制（选型见推理引擎选型），只给端到端部署方案：按算力场景分四档，每档给可跑命令、显存预算和踩坑。

先给结论：大模型训练并行只有三件事——显存放不下、算力不够用、通信不能成为瓶颈。数据并行（DP）摊算力、张量并行（TP）摊单层显存、流水线并行（PP）摊层数，ZeRO/FSDP 是数据并行的显存优化形态，实际生产（GPT-3、Llama、Qwen 系列）都是把它们叠成 3D/4D 并行来用。选型的本质是一道通信开销的算术题：每步训练要搬多少字节，你的互联带宽扛不扛得住。

上一篇讲了参数高效微调 LoRA/QLoRA，那是"少训点参数"的路线；这篇是"多卡一起训"的路线，两者互补。集群怎么调度 GPU 见K8s GPU 调度。

推理集群的利用率为什么普遍只有 30%-50%？大多数时候不是模型不够强，而是调度层把 GPU 当成了「特别大号的 CPU」。这张卡该不该给、给多少、和谁共享、抢占了谁——每一步都决定你是多跑一倍任务，还是天天看着显存碎片和排队干瞪眼。

上一篇Linux VRAM overcommit 与显存超卖讲了单机层面的显存管理，这篇往上一层：K8s 集群里 GPU 是怎么被调度、切分和排队的。面向要搭推理集群的 SRE / 平台工程师，从 Device Plugin 讲到 Kueue、Volcano，附可直接抄的 YAML。

2026 年 8 月，两条看起来不相关的新闻放在一起读，信息量很大：

1. Tom's Hardware 报道 DRAM 价格 12 个月涨了约 500%，HBM/GDDR 的供应紧张让"显存"成了整个 AI 产业链最贵的消耗品；
2. 一位 Linux 图形栈开发者（pixelcluster.dev）多年打磨的 VRAM 管理补丁合入主线、随 Linux 7.3 发布：当 GPU 显存被"超卖"（overcommit）时，系统不再随机崩溃，而是尽量优雅地降速。

第一条讲的是"显存为什么不够用"，第二条讲的是"不够用了之后系统该怎么办"。第二条对 AI 推理工程师尤其有参考价值——因为 vLLM 的 CPU offload、llama.cpp 的 mmap、推理服务的显存超卖，本质上是同一个问题：物理显存放不下，被迫把数据换到 PCIe 那头的内存里，系统怎么把损失降到最小。

云服务器搭 AI 绘图/视频生成环境，网络和依赖是最大拦路虎。本文记录在 AutoDL Tesla T4（16 GB 显存）实例上，从裸 Ubuntu 20.04 到跑通 ComfyUI + CogVideoX-5B 的完整过程。

单机训练大模型失败，从来不是因为「模型参数装不下」这一句话。真正的问题是：训练一个模型需要保存四份不同的状态——参数、梯度、优化器状态、前向激活值——而它们各自都以不同方式随模型规模增长。以 175B 参数的 GPT-3 为例（ZeRO 论文给出的估算）：仅 Adam 优化器状态就约 1.2TB，梯度约 0.7TB，参数约 0.7TB，合计 约 2.6TB，而 2020 年最强的 A100 80GB 也只有 80GB 显存。这就是为什么 GPT-3 要在约 10,000 张 V100 的集群上训练。

但这只是「装不下」的问题。分布式训练真正的难点在于：把状态切开之后，如何在切面之间保持数学等价。本文拆解五种并行方式——DP、TP、PP、SP、EP——各自的切分维度、通信模式与组合方式，并给出工程上的选择依据。所有数字均来自可查证的论文与硬件规格。

本文是推理优化系列的第二篇。前篇《vLLM 架构深度解析》从推理引擎层面探讨了性能优化，本篇聚焦另一个关键维度——模型量化。

2025-2026 年，量化技术从「部署技巧」演变为「训练流程的一等公民」。FP8 被 Blackwell GPU 原生支持，INT4 通过 AWQ/GPTQ 等算法几乎追平 FP16 的准确率，而 KV-cache 量化更是成为长上下文推理的标配。

本文从工程实现角度，系统梳理 LLM 量化的核心概念、主流方案的生产级对比，以及关键陷阱。

本文是一份完整的 HyperFrames 时间线视频制作脚本 + 实际生成记录。前半部分为逐帧镜头设计和生图 Prompt，后半部分记录了用 edge-tts + Pillow + ffmpeg 纯代码生成视频的全过程（含踩坑）。成品 1080p / 3m51s / 7.5MB，带 TTS 配音和硬字幕。

视频总览​

• 时长：实际 231 秒 / 3 分 51 秒（28 个镜头，TTS 中速朗读）, 理想压缩后可到 2 分钟
• 风格：HyperFrames 快节奏数据可视化 + 产品特写 + 动态图表
• 配音：edge-tts zh-CN-YunxiNeural 男声，rate +10%
• 字幕：底部中文字幕，SRT 硬字幕（微软雅黑）
• 画面：Pillow 代码信息图（可替换为 GPT Image 2 / Midjourney 出图升级）
• BGM：暂无（可后期加入科技感电子乐垫底）

成本分解总表（核心数据）​

来源说明：NVIDIA 不公开组件级定价。以上数据综合自 SemiAnalysis 深度分析（2024.03）、Morgan Stanley 研报（2024.03）、Dell/Supermicro OEM 报价泄露、ServeTheHome 和 Tom's Hardware 报道。实际价格因 OEM 厂商、采购规模、配置差异浮动 ±15%。