AI专题

人工智能相关文章与笔记。

AI 知识体系​

最新文章​

• 多模态 RAG 的检索层工程化：视觉后期交互（ColQwen）的账本、剪枝与踩坑
• 向量索引内幕：HNSW 与 IVF-PQ 的召回、延迟、内存三方账本
• 面试题：长上下文到底是怎么做到的？RoPE 为什么不能直接外推、PI/NTK/YaRN 各在插什么、32K 训练的模型凭什么撑到 128K，长上下文和 RAG 又该怎么选？
• 分词器才是真正的接口：BPE 从零实现，以及它如何决定你的账单、缓存命中率与算术能力
• 面试题：MoE 为什么能用更少的激活参数换来更大的容量？专家路由怎么设计、负载不均衡怎么治、为什么 MoE 推理比同规模稠密模型更难？
• 开源模型动态与选型决策：发布节奏、License 陷阱与自建评测基准
• RAG 进阶实战：切块策略、混合检索与 Re-ranking 的量化收益与工程取舍
• GUI Agent 工程化：让大模型操作电脑的感知、行动与安全拆解 — Computer Use 从原理到落地
• 面试题：为什么 vLLM 是当前最快的 LLM 推理框架？Continuous Batching 和 PagedAttention 各自解决了什么问题、显存占用怎么降下来的？
• 流式 TTS 合成工程：延迟预算、模型选型与评测回环
• MCP Server 生产级实战：从 stdio 骨架到 Streamable HTTP 与鉴权部署
• Prompt 工程的下半场：System Prompt 分层、缓存感知设计与评测回归
• 面试题：RAG 检索增强生成：文档怎么切块、向量索引怎么建、混合检索怎么排、幻觉怎么治？
• 分布式训练工程课：3D 并行、ZeRO/FSDP 与通信开销的账怎么算
• 投机解码（Speculative Decoding）：小模型猜、大模型验，解码提速 2-3 倍且输出分布不变
• LLM 推理引擎选型：vLLM、SGLang、TensorRT-LLM、TGI 到底怎么选？
• 面试题：模型量化怎么省显存？GPTQ、AWQ、GGUF 有什么区别、精度掉多少？
• Token 即金钱：LLM 用量计量与计费系统的工程实践
• PD 分离架构：prefill 和 decode 拆到不同节点，Kimi 多扛了 75% 请求
• LLM 生成代码的评审与验证：从「AI 写的能跑」到「敢合入生产」的工程化流程
• Gisting 上下文压缩：把 6000 token 系统提示词压成 1500 个 gist token，推理成本直降 14%
• LLM 流式响应后端工程：SSE、背压、超时与取消传播的实战细节
• 语音 Agent 与流式 ASR：延迟预算、打断与低延迟全链路工程
• K8s 上的 GPU 调度：从 Device Plugin 到 Kueue/Volcano 的推理集群资源管理
• AI Agent 评测工程化：从单轮问答到轨迹与环境反馈
• Linux 7.3 的 VRAM Overcommit：显存不够用时，内核级兜底怎么做
• Cursor Origin 上线：AI 时代代码托管的三个信号与工程反思
• 面试题：KV Cache 是什么？为什么长上下文推理显存不够用？
• KV Cache 深度解析：显存黑洞、PagedAttention 与三路省内存方案
• Snowflake Jira 被攻破始末：Copilot Autofix 合入的 GitHub Actions 注入漏洞与 AI 代码治理
• GLM-5.3 与 Coding Agent 的安全能力：白盒审计、漏洞推理与证据分级
• Embedding 进阶：Matryoshka 表示学习、量化向量与检索调优，把 RAG 的存储和延迟砍一个数量级
• Qwen3.8-27B 架构深读：Gated DeltaNet 混合线性注意力与 262K 长上下文
• LoRA/QLoRA 参数高效微调实战：低秩假设、NF4 双重量化与多 Adapter 生产部署
• 多 Agent 协作架构：Orchestrator-Worker 之外，任务依赖图、上下文隔离与结果合并的工程实践
• A2A 协议深挖：Agent 之间怎么协作？AgentCard、Task 状态机与 SSE 流式传输全解析
• RAG 检索优化深度拆解：分块策略到 Cross-Encoder 重排序，召回率提升的完整链路
• LLM 量化深度拆解：4-bit 省 75% 显存，GPTQ / AWQ / GGUF / NF4 怎么选
• 大模型 Agent 的记忆系统：从上下文窗口到长期记忆的完整设计
• 为什么标准 Attention 的 O(n²) 绕不开？softmax 全局归一化才是数学根源
• 面试题：为什么 Attention 是 O(n²)？Linear Attention 和 FlashAttention 分别解决了什么问题？
• 从 RLHF 到 GRPO：大模型对齐训练技术演进与实战
• AI 应用向量数据库选型：Milvus、Pinecone、Qdrant、Chroma 等对比
• 拆解 Function Calling：大模型工具调用的全链路与坑
• Continuous Batching 深度解析：为什么 LLM 推理不能用传统 Request Batching
• LLM 结构化输出实战：从 Prompt Engineering 到 Constrained Decoding
• 面试题：Transformer 的 Attention 机制为什么用缩放点积，而不是直接点积？
• LLM 推理性能建模：用 Roofline 模型回答『需要多少张卡』
• 投机解码深度解析：草稿模型如何把推理吞吐提升 2-3 倍
• LLM 应用可观测性工程：从 token 账单到 Agent 轨迹追踪
• 多模态大模型工程实践：视觉 token、动态分辨率与推理部署
• KV Cache 优化实战：长上下文推理的内存、量化与驱逐
• LLM 评测的工程化：从基准分数到 LLM-as-a-Judge 的生产实践
• 大模型分布式训练的并行策略：从数据并行到 3D 并行与专家并行
• LLM 路由的工程真相：大家都在做，为什么 Manifest 下线了自己的路由器？
• Agent 入侵事件技术复盘：Hugging Face 七月入侵全链条解析
• improve-codebase-architecture：用「深模块」给代码库做一次架构体检
• 上下文工程：把 Context 当作一等资源来管理
• MCP 2026-07-28 规范解读：无状态核心与协议的成人礼
• DeepSeek V4 Flash 0731 解析：智能指数 50 的 284B MoE 性价比之王
• AI 编程的现实主义：为什么是 2x 而不是 10x——兼谈重构的 Token 经济学
• GPT-5.6 价格-性能革命：Luna 降价 80% 背后的推理效率工程
• LLM 量化技术实战指南：从 FP8 到 INT4 的生产级优化
• AI Agent 工程化实践：构建可观测、可管控的生产级智能体系统
• HotPin：用控制理论思维突破 MoE 模型的推理内存墙
• Kimi-K3 深度解析：2.8T 开源 MoE 模型的架构创新与设计哲学
• 推理模型的计算效率革命：Early Stopping 与自适应推理时延优化
• Agent 安全防护：ToolGuardian 深度解析
• LLM 推理中的存储 I/O 优化：从 HDD 到 CXL 的演进
• Agent 推理与执行分离：构建可维护的 AI 智能体架构
• vLLM 架构详解：PagedAttention、Continuous Batching 与生产级推理优化
• MCP 协议深度解析：架构设计、传输层与工具编排最佳实践
• AI 更擅长写 React 还是 Vue？被榜单掩盖的真相
• Function Calling 实践指南：角色、字段与报文处理全解析
• 扩展 LLM 的能力边界：联网搜索、文件读写与记忆功能全景指南
• 一文讲透如何构建 Harness——六大组件全解析
• Windows VSCode 调用 WSL 中的 Hermes Agent 实战
• HyperFrames 视频脚本：GB200 NVL72 — 一台 300 万美元的 AI 机柜，钱到底花在哪？
• Function Calling 诞生的背景：从 LLM 聊天到工具调用
• DeepSeek开源的价值
• AI Infra 到底是什么
• 用 LangChain + Qdrant + DeepSeek 搭建简历 RAG 系统