vLLM 架构详解：PagedAttention、Continuous Batching 与生产级推理优化
· 阅读需 12 分钟
本文是 AI Infra 系列的实战篇，前篇《AI Infra 到底是什么》梳理了 AI 基础设施的四层架构，本文聚焦推理层最核心的开源项目——vLLM。
前言：为什么 vLLM 是推理引擎的标杆
大模型推理引擎有很多：TGI（HuggingFace）、TensorRT-LLM（NVIDIA）、SGLang、CTranslate2……但在开源社区中，vLLM 是目前最流行、生态最好的通用推理引擎。
它解决了 LLM 推理中三个核心痛点：
- 显存浪费：传统方案 KV Cache 需要预分配最大序列长度，实际序列通常短得多，造成高达 60-80% 的显存浪费
- 吞吐量低：静态批处理无法动态管理请求，GPU 利用率难以提高
- 调度僵化：不支持抢占、不可用请求灵活排队
vLLM 凭借 PagedAttention 和 Continuous Batching 两项核心技术，在上述三个维度都实现了数量级的提升。