Artificial Intelligence 相关文章
查看所有标签2026 年 6 月，MCP 完成「无状态核心」改造，HTTP+SSE 双端点退役；定稿版把远程 server 的 OAuth 2.1 变成硬性要求。协议层的来龙去脉，MCP 协议深度解析 和 无状态核心规范解读 已经讲透。但「读懂了协议」和「写得出一个能上生产的 server」之间还隔着一条沟：stdio 帧格式的坑、工具描述怎么写模型才肯调用、鉴权怎么做、客户端怎么接。本文用一段完整可跑的代码把这条沟填上。
这是「每日一题」专栏的第十三篇。每天一道面试题，后端 + AI 混合路线，从原理到代码一次讲清。上一篇讲了 Feed 流系统设计，今天按轮换回到 AI/LLM 方向，聊上一篇预告的题：RAG 检索增强生成。
LobeChat 是当前最流行的开源 AI 聊天前端之一，界面漂亮、功能齐全，支持聚合多家大模型供应商。自己部署一台的好处很实在：对话数据不出自己的服务器，模型按需切换，还省了订阅费。本文给出一条命令的 Docker 部署方案，直接接 DeepSeek——国内直连、便宜、够用。
先给结论：大模型训练并行只有三件事——显存放不下、算力不够用、通信不能成为瓶颈。数据并行（DP）摊算力、张量并行（TP）摊单层显存、流水线并行（PP）摊层数，ZeRO/FSDP 是数据并行的显存优化形态，实际生产（GPT-3、Llama、Qwen 系列）都是把它们叠成 3D/4D 并行来用。选型的本质是一道通信开销的算术题：每步训练要搬多少字节，你的互联带宽扛不扛得住。
上一篇讲了参数高效微调 LoRA/QLoRA，那是"少训点参数"的路线；这篇是"多卡一起训"的路线，两者互补。集群怎么调度 GPU 见K8s GPU 调度。
自回归解码是 memory-bound 的：小 batch 下每生成一个 token 都要把全部权重从 HBM 读一遍，GPU 算力大部分时间在空转。投机解码（Speculative Decoding）的思路反直觉但极其优雅——让一个便宜的小模型先猜 γ 个 token，大模型一次前向并行验证，猜对的直接收下，猜错的用拒绝采样修正。论文级收益 2-2.5 倍，工程实现（Medusa/EAGLE/DeepSeek MTP）能到 3-4 倍，而且输出分布与原生解码严格一致，不是近似。
推理引擎选型是 LLM 服务化里最容易被低估的架构决策。同样的模型、同样的 GPU，换一个引擎吞吐可能差 2-3 倍；但反过来，厂商 benchmark 里好看的引擎，落到你的真实负载上可能反而更慢。这篇文章把 vLLM、SGLang、TensorRT-LLM、TGI 四个主流引擎放在一起对比，从调度机制、前缀缓存、结构化输出、量化、MoE 支持五个维度拆，最后给选型决策表和生产踩坑记录。
这是「每日一题」专栏的第十篇。每天一道面试题，后端 + AI 混合路线，从原理到代码一次讲清。上一篇讲了 秒杀系统，今天按轮换回到 AI/LLM 方向，聊上一篇预告的题：模型量化。
聊 LLM 应用的工程，大家津津乐道的是推理优化、RAG、Agent 编排，但真正决定一个 ToB/ToC 产品能不能赚钱的，往往是没人愿意写的计量与计费。模型调用不像 MySQL 查询——没有免费的 EXPLAIN，每一次 API 调用都是真金白银的流出；而一旦你开始对用户收费、对开发者分成，计费就从「省钱工具」升级成「信任地基」：计量错了，不是亏钱就是信任崩塌。
这篇文章从后端工程师视角，把「一次模型调用 → 一条 usage 事件 → 一张账单 → 一笔分账」的完整链路拆开：usage 从哪来、按什么价、怎么记、怎么算、怎么对账。基于真实平台（以 DeepSeek 2026-08 官方计价为例）的实操经验，有 schema、有代码、有坑。
PD 分离（Prefill/Decode Disaggregation）是这两年推理集群改造里回报最高的一步。DeepSeek-V3 技术报告在部署章节明确写了 "separates the prefilling and decoding stages"；Kimi 的 Mooncake 平台靠它多扛了 75% 的真实流量；vLLM、SGLang、NVIDIA Dynamo 都把它做成了一等公民。
但这项技术有个反直觉的点：它几乎不提升峰值吞吐，买的是延迟的可控性。vLLM 官方文档第一句就是 "Disaggregated prefill DOES NOT improve throughput"。本文拆解它为什么成立、KV cache 传输这笔账怎么算、两级调度怎么设计，最后给一个可运行的模拟器和一份踩坑清单。