模型推理相关
查看所有标签「一个 70B 模型、每天 10 万请求、p95 TTFT 小于 1 秒，需要多少张 H100？」如果你问云厂商销售，答案取决于他的季度指标；如果你问架构师，答案应该取决于一张纸上的数学。LLM 推理的性能不是靠 benchmark 榜单「测」出来的，而是可以被两条硬件参数——峰值算力和内存带宽——从第一性原理「算」出来的。
本文沿用 Roofline 模型的分析框架（参考 Sid Babu 2026 年 5 月的同名长文），把 prefill 与 decode 两个阶段的吞吐、延迟写成可计算的代数式，再用 70B 模型在 H100/B200 上的具体数字验证，最后给出一个完整的容量规划实例。看完你会理解三件事：为什么 decode 阶段「大 batch 包治百病」是错的、为什么长上下文是推理成本的真正杀手、以及为什么 FLOPs 越高不代表推理越快。
自回归解码的本质是「一步一个 token」：生成第 t 个 token 必须等前 t-1 个 token 全部算完，而且每个 token 都要跑一遍完整的前向传播。在 decode 阶段，Transformer 的算力利用率通常只有个位数百分比——因为激活很小、瓶颈在显存带宽（memory-bound），GPU 上几 TB/s 的 HBM 带宽被浪费在搬运权重上。这就是投机解码（Speculative Decoding）要解决的核心矛盾：能不能用便宜的计算提前猜出未来几个 token，让大模型一次前向同时验证 K 个猜测？
答案是能，而且无损失。本文拆解投机解码的数学原理、三条主流实现路线（独立草稿模型 / Medusa 多解码头 / EAGLE 特征级草稿）、以及 vLLM 中的生产配置与收益边界。
2026 年的生产应用里，纯文本模型越来越少见——文档解析、截图问答、票据识别、视频审核，几乎每个场景都绕不开「看图」。但把图片塞进 LLM 不是免费的：一张 336×336 的图在 LLaVA 范式下要 576 个 token，比一段 500 字的中文还贵；一次文档问答可能吃掉数千 token 的 prefill。本文从架构、token 成本、数据管线、推理部署、评测五个角度，拆解 VLM 工程落地的关键问题，重点是可复现的数据与可执行的配置。
长上下文是 2026 年推理成本的主战场。模型权重是「一次性」成本——加载一次、人人共享；KV Cache 却是「每次请求」成本——随并发数与上下文长度线性增长。以 Llama-3-70B 为例：fp16 权重约 140GB，而单路 128K 上下文的 KV Cache 在 GQA-8 配置下就要 40GiB，若是 MHA-64 架构则高达 320GiB。权重只装一次，KV 却要为每个并发请求各存一份。这就是为什么「上下文 128K 免费」的口号背后，钱都花在 KV 上。
本文按「架构 → 工程 → 量化 → 驱逐」四层拆解 KV Cache 优化：先算清账，再讲 GQA/MLA 如何从模型侧减量，PagedAttention 与前缀缓存如何复用，FP8/KIVI 如何压缩，最后是 StreamingLLM/H2O/SnapKV 这类「不保留全部」的驱逐方案。数字来自公开论文与可复现的计算，工程建议以 vLLM 为例给出可直接落地的配置。
2026 年 7 月末，两件事把「LLM 路由」推到了聚光灯下：Manifest 发表《Everyone is building LLM routers, we deprecated ours》在 Hacker News 拿到 130+ 分；Techstrong 则断言 LLM 路由器「已经从 niche 基础设施技巧变成主流产品品类」。Cursor 上线了 Cursor Router，Ramp 把内部自用的路由系统开放成产品，Meta 被曝在内部开发代号 SwitchBoard 的成本优化平台，YC S26 还出现了 Tokenless 这样的「自动换模型省钱」创业公司。
一面是产品化的火热，一面是亲自下场者（Manifest，一个 LLM 网关公司）的撤退。这篇文章不站队，而是把路由这件事拆开：它到底怎么工作、能省多少钱、隐性成本在哪，以及什么场景下它依然成立。
本文是模型评测系列的一篇。前作《GPT-5.6 价格-性能革命》拆解了闭源侧的价格战，《Kimi K3 架构分析》解读了开源侧的 2.8T 巨兽，本篇聚焦 DeepSeek 在 7 月 31 日放出的新变体：DeepSeek V4 Flash 0731。
2026 年 7 月 31 日，Artificial Analysis 发布了 DeepSeek V4 Flash 0731 的独立评测（Reasoning / Max Effort 版本），随后在 Hacker News 上引发热议（500+ 分）。在 GPT-5.6 宣布 Luna 降价 80%、Kimi K3 主打自托管性价比的混战周里，DeepSeek 用一个 284B 总参数的 MoE 模型把「智能/价格」的比值又推高了一截。本文基于 Artificial Analysis 的公开评测数据，拆解这份答卷背后的模型参数、定价结构与工程启示。
2026 年 7 月 31 日凌晨，OpenAI 发布公告《Advancing the price-performance frontier with GPT‑5.6》，正式推出 GPT-5.6 系列模型，并在 Hacker News 上引发热议（发布数小时内即获 500+ 分）。公告的核心信息只有一句话：GPT-5.6 Luna——最快的模型，也是最便宜的模型——价格直降 80%。
这不是一次普通的版本迭代。在 Kimi-K3（2.8T 开源 MoE）、GLM 5.2、DeepSeek V4 轮番降价的开源围剿下，OpenAI 选择用「推理效率工程」而非「削减利润」来回应。本文从工程角度拆解这次降价的技术逻辑、成本结构，以及对推理基础设施团队的启示。
本文是推理优化系列的第二篇。前篇《vLLM 架构深度解析》从推理引擎层面探讨了性能优化，本篇聚焦另一个关键维度——模型量化。
2025-2026 年，量化技术从「部署技巧」演变为「训练流程的一等公民」。FP8 被 Blackwell GPU 原生支持，INT4 通过 AWQ/GPTQ 等算法几乎追平 FP16 的准确率，而 KV-cache 量化更是成为长上下文推理的标配。
本文从工程实现角度，系统梳理 LLM 量化的核心概念、主流方案的生产级对比，以及关键陷阱。
大模型推理的内存需求正在走向一个矛盾：MoE 模型的参数量动辄数百亿甚至上千亿，但消费级硬件的 RAM 上限在过去五年几乎没有质变——一张显卡 24GB，一台笔记本电脑 32GB，已是多数工程师的日常。
2026 年 7 月，一位机械工程背景的开发者（HN: LozzKappa）用约 50 行 C++ 代码，以一套来自控制理论的直觉，将 gpt-oss:120b MoE 模型的内存占用从 58.5GB 压到了 19.1GB，输出与全量加载完全一致（SHA-256 验证）。这项技术被命名为 HotPin。
本文将从工程实现的角度，拆解 HotPin 的核心原理、边界条件与适用场景。
2026 年 7 月 28 日，MoonshotAI 在 HuggingFace 上发布了 Kimi-K3——迄今最大的开源权重模型，拥有 2.8 万亿参数，并同步公开了详细的技术报告。这一发布不仅在规模上刷新了纪录，更在架构设计上展示了多条前沿技术路线在一个生产级模型中的融合与取舍。
本文将从工程实现的角度，逐层拆解 Kimi-K3 的四大核心架构创新：LatentMoE、Kimi Delta Attention、NoPE 以及 Attention Residuals，并在关键设计点上与 DeepSeek V4、Llama 4 等同期模型进行对比分析。