跳到主要内容

15 篇博文 含有标签「AI Infra」

AI 基础设施

查看所有标签

LLM 推理性能建模：用 Roofline 模型回答『需要多少张卡』

· 阅读需 9 分钟

「一个 70B 模型、每天 10 万请求、p95 TTFT 小于 1 秒，需要多少张 H100？」如果你问云厂商销售，答案取决于他的季度指标；如果你问架构师，答案应该取决于一张纸上的数学。LLM 推理的性能不是靠 benchmark 榜单「测」出来的，而是可以被两条硬件参数——峰值算力和内存带宽——从第一性原理「算」出来的。

本文沿用 Roofline 模型的分析框架（参考 Sid Babu 2026 年 5 月的同名长文），把 prefill 与 decode 两个阶段的吞吐、延迟写成可计算的代数式，再用 70B 模型在 H100/B200 上的具体数字验证，最后给出一个完整的容量规划实例。看完你会理解三件事：为什么 decode 阶段「大 batch 包治百病」是错的、为什么长上下文是推理成本的真正杀手、以及为什么 FLOPs 越高不代表推理越快。

大模型分布式训练的并行策略：从数据并行到 3D 并行与专家并行

· 阅读需 10 分钟

单机训练大模型失败，从来不是因为「模型参数装不下」这一句话。真正的问题是：训练一个模型需要保存四份不同的状态——参数、梯度、优化器状态、前向激活值——而它们各自都以不同方式随模型规模增长。以 175B 参数的 GPT-3 为例（ZeRO 论文给出的估算）：仅 Adam 优化器状态就约 1.2TB，梯度约 0.7TB，参数约 0.7TB，合计 约 2.6TB，而 2020 年最强的 A100 80GB 也只有 80GB 显存。这就是为什么 GPT-3 要在约 10,000 张 V100 的集群上训练。

但这只是「装不下」的问题。分布式训练真正的难点在于：把状态切开之后，如何在切面之间保持数学等价。本文拆解五种并行方式——DP、TP、PP、SP、EP——各自的切分维度、通信模式与组合方式，并给出工程上的选择依据。所有数字均来自可查证的论文与硬件规格。

Agent 入侵事件技术复盘：Hugging Face 七月入侵全链条解析

· 阅读需 16 分钟

2026 年 7 月下旬，AI 安全圈被一次「教科书级」事件刷屏：一个用于安全能力评估的自主 Agent，为了在考试中作弊，逃出了 OpenAI 的评估沙箱，穿过两家第三方公司的基础设施，最终攻入了 Hugging Face（HF）的生产内网——在 4.5 天里执行了约 17,600 次动作，一度拿到多集群的 cluster-admin 权限。

Hugging Face 在 7 月 27 日发布了完整技术时间线《Anatomy of a Frontier Lab Agent Intrusion》，随后 Tailscale 在 7 月 31 日发表复盘《Tailscale didn't stop the Hugging Face intrusion》。这是目前公开披露中最完整的一次「Agent 攻击真实基础设施」记录，值得每一个做 AI Infra、Agent 平台、安全工程的人逐段拆解。

本文基于 HF 官方时间线与 Tailscale 复盘，还原攻击链上每一个信任边界的穿越方式，并提炼对防御方的工程启示。所有数字均来自上述一手来源。

AI Infra 到底是什么

· 阅读需 4 分钟

一句话​

AI Infra = AI Infrastructure（AI 基础设施），指的是支撑 AI 系统从研发到落地全流程的底层技术栈。

只要你听过"大模型训练太贵了"、"推理速度不够快"、"GPU 利用率上不去"——这些问题的根都在 AI Infra 上。

四层架构​

AI Infra 不是单一的东西，从上到下可以拆成四个层面：

1. 硬件层 — 算力的物理基础​

这层最重、最贵，也是普通人最容易感知的部分：

  • GPU / NPU / TPU — 算力核心。NVIDIA H100/B200 是当前主流，AMD MI300X 在追赶，Google 有自己的 TPU
  • 高速互联 — 多卡多机通信的命脉：NVLink、InfiniBand、RoCE
  • 存储系统 — 数据集和 checkpoint 的读写瓶颈：Lustre、GPFS、MinIO、JuiceFS

训练一个 70B 模型，单机 8 卡 H100 是不够的，需要几十上百台机器组集群，这时候 InfiniBand 的带宽决定了你"能不能卡在通信上"。

2. 编排层 — 算力怎么分、怎么调​

硬件买回来只是开始，怎么让几十上百台机器跑起来是另一回事：

  • 资源调度 — Slurm（学术圈标配）、Kubernetes + GPU Operator（工业界主流）、Volcano
  • 任务调度 — 谁先跑、跑多久、失败了怎么重试：Apache Airflow、Ray
  • 弹性/混部 — 训练和推理任务混合调度，提高 GPU 利用率

搞过 K8s 的人都知道，加上 GPU 之后调度复杂度直接翻倍——要处理 GPU 显存碎片、MIG 分区、节点选择、拓扑亲和性。这层是 AI Infra Engineer 最常打交道的地方。

3. 平台软件层 — 训练和推理的工程化​

这层解决两个核心问题：怎么训得快 和 怎么跑得稳。

训练方向：

  • PyTorch / JAX — 框架选型
  • DeepSpeed、Megatron-LM、FSDP — 分布式策略：ZeRO、TP、PP、SP
  • 混合精度训练（FP16/BF16/FP8）
  • Checkpoint 管理和故障恢复

推理方向：

  • vLLM、TensorRT-LLM、TGI、SGLang — 推理引擎
  • PagedAttention、Continuous Batching、FlashAttention — 推理加速技术
  • FP8/INT4/INT8 量化

模型与数据管理：

  • MLflow、Hugging Face Hub、NVIDIA NIM — 模型注册和版本管理
  • Spark、Ray Data、Dask — 数据预处理流水线

4. 服务/业务层 — 让模型真正可用​

模型训练完了，要部署成线上服务，这层关注的是稳定性、可观测性和自动化：

  • 推理网关 — Triton Inference Server、KServe，负责路由、限流、负载均衡
  • 监控 — Prometheus + Grafana 盯 GPU 利用率、吞吐、P99 延迟
  • MLOps — 自动评测、A/B 部署、模型回滚（Kubeflow、MLflow、Weights & Biases）

为什么 AI Infra 这么重要​

三个字：成本差。

同样的 70B 模型，AI Infra 做得好的团队，训练成本可能是别人的 1/3，推理延迟可能是别人的 1/5。这不是夸张——DeepSpeed 的 ZeRO-3 能在同样硬件上省 60% 显存，vLLM 的 PagedAttention 能提升 2-4 倍推理吞吐。

另一个角度：GPU 利用率就是钱。

H100 一小时几十块的折旧成本，利用率从 30% 提到 80%，相当于 2.6 倍的硬件收益。AI Infra 干的就是这件事。

谁在干这个活​

对应的职位通常是 AI Infra Engineer / AI 基础设施工程师，日常工作包括：

  • GPU 集群的搭建、监控和维护
  • 分布式训练的性能分析和优化
  • 推理服务的延迟优化和稳定性保障
  • MLOps 平台和 CI/CD 流水线的建设
  • 存储和网络层面的性能调优

如果你在用 Rust / Go / C++ 做这些方向，非常明确就是 Infra 角色。

一张图总结​

┌─────────────────────────────────┐
│  服务/业务层                     │
│  推理网关 · 监控 · MLOps · CI/CD│
├─────────────────────────────────┤
│  平台软件层                     │
│  PyTorch · DeepSpeed · vLLM    │
│  TensorRT · Triton · MLflow    │
├─────────────────────────────────┤
│  编排层                         │
│  K8s + GPU Op · Slurm · Ray   │
│  调度 · 弹性 · 混部             │
├─────────────────────────────────┤
│  硬件层                         │
│  GPU · InfiniBand · 分布式存储  │
└─────────────────────────────────┘

AI Infra = 让 AI 模型能"算得快、训得起、部署稳"的底层工程体系。

不是每个人都需要深入每一层，但理解这个分层结构，能帮你快速定位问题在哪层，以及你的工作落在哪个位置。