6 篇博文 含有标签「ai」

本文是对腾讯云开发者社区文章《一文讲透如何构建 Harness——六大组件全解析》（作者：李伟山）的阅读总结与深度解读。原文详细拆解了 AI Agent 工程中最重要的概念之一——Harness，本文在保留核心观点的同时做了结构化的梳理。

背景​

这套组合的出现有一个很现实的理由：

• VSCode 是 Windows 上最好的编辑器之一，生态丰富，Remote 插件体系成熟
• WSL 提供了完整的 Linux 开发环境，项目依赖、脚本、网络工具链都在 WSL 里
• Hermes Agent 跑在 Linux 上最顺畅，它需要访问项目的 Git 历史、文件结构、终端环境

所以很自然的，你会想让 VSCode 连进 WSL，然后在编辑器里直接和 Hermes 交互——写完代码让它审，遇到问题让它查，重构代码让它帮。

这篇文章就讲清楚这条路怎么打通，以及打通之后能怎么用。

本文是一份完整的 HyperFrames 时间线视频制作脚本 + 实际生成记录。前半部分为逐帧镜头设计和生图 Prompt，后半部分记录了用 edge-tts + Pillow + ffmpeg 纯代码生成视频的全过程（含踩坑）。成品 1080p / 3m51s / 7.5MB，带 TTS 配音和硬字幕。

视频总览​

• 时长：实际 231 秒 / 3 分 51 秒（28 个镜头，TTS 中速朗读）, 理想压缩后可到 2 分钟
• 风格：HyperFrames 快节奏数据可视化 + 产品特写 + 动态图表
• 配音：edge-tts zh-CN-YunxiNeural 男声，rate +10%
• 字幕：底部中文字幕，SRT 硬字幕（微软雅黑）
• 画面：Pillow 代码信息图（可替换为 GPT Image 2 / Midjourney 出图升级）
• BGM：暂无（可后期加入科技感电子乐垫底）

成本分解总表（核心数据）​

来源说明：NVIDIA 不公开组件级定价。以上数据综合自 SemiAnalysis 深度分析（2024.03）、Morgan Stanley 研报（2024.03）、Dell/Supermicro OEM 报价泄露、ServeTheHome 和 Tom's Hardware 报道。实际价格因 OEM 厂商、采购规模、配置差异浮动 ±15%。

引言​

2023 年 6 月，OpenAI 在 GPT-4-0613 和 GPT-3.5-turbo-0613 中首次引入了 Function Calling 能力。当时很多人第一反应是："这不就是让模型生成 JSON 吗？有什么特别的？"

两年后再回头去看，Function Calling 是 LLM 从"聊天玩具"走向"生产工具"的关键一步。本文不讲 API 怎么调用，而是聊清楚一个更根本的问题：Function Calling 到底解决了什么问题？它为什么一定会出现？

引言​

2024 年底，DeepSeek 发布了 DeepSeek-V2 和 DeepSeek-R1 系列模型，并选择完全开源。这一举动在全球 AI 社区引发了巨大反响。本文试图从多个维度分析 DeepSeek 开源战略的真正价值。

一句话​

AI Infra = AI Infrastructure（AI 基础设施），指的是支撑 AI 系统从研发到落地全流程的底层技术栈。

只要你听过"大模型训练太贵了"、"推理速度不够快"、"GPU 利用率上不去"——这些问题的根都在 AI Infra 上。

四层架构​

AI Infra 不是单一的东西，从上到下可以拆成四个层面：

1. 硬件层 — 算力的物理基础​

这层最重、最贵，也是普通人最容易感知的部分：

• GPU / NPU / TPU — 算力核心。NVIDIA H100/B200 是当前主流，AMD MI300X 在追赶，Google 有自己的 TPU
• 高速互联 — 多卡多机通信的命脉：NVLink、InfiniBand、RoCE
• 存储系统 — 数据集和 checkpoint 的读写瓶颈：Lustre、GPFS、MinIO、JuiceFS

训练一个 70B 模型，单机 8 卡 H100 是不够的，需要几十上百台机器组集群，这时候 InfiniBand 的带宽决定了你"能不能卡在通信上"。

2. 编排层 — 算力怎么分、怎么调​

硬件买回来只是开始，怎么让几十上百台机器跑起来是另一回事：

• 资源调度 — Slurm（学术圈标配）、Kubernetes + GPU Operator（工业界主流）、Volcano
• 任务调度 — 谁先跑、跑多久、失败了怎么重试：Apache Airflow、Ray
• 弹性/混部 — 训练和推理任务混合调度，提高 GPU 利用率

搞过 K8s 的人都知道，加上 GPU 之后调度复杂度直接翻倍——要处理 GPU 显存碎片、MIG 分区、节点选择、拓扑亲和性。这层是 AI Infra Engineer 最常打交道的地方。

3. 平台软件层 — 训练和推理的工程化​

这层解决两个核心问题：怎么训得快 和 怎么跑得稳。

训练方向：

• PyTorch / JAX — 框架选型
• DeepSpeed、Megatron-LM、FSDP — 分布式策略：ZeRO、TP、PP、SP
• 混合精度训练（FP16/BF16/FP8）
• Checkpoint 管理和故障恢复

推理方向：

• vLLM、TensorRT-LLM、TGI、SGLang — 推理引擎
• PagedAttention、Continuous Batching、FlashAttention — 推理加速技术
• FP8/INT4/INT8 量化

模型与数据管理：

• MLflow、Hugging Face Hub、NVIDIA NIM — 模型注册和版本管理
• Spark、Ray Data、Dask — 数据预处理流水线

4. 服务/业务层 — 让模型真正可用​

模型训练完了，要部署成线上服务，这层关注的是稳定性、可观测性和自动化：

• 推理网关 — Triton Inference Server、KServe，负责路由、限流、负载均衡
• 监控 — Prometheus + Grafana 盯 GPU 利用率、吞吐、P99 延迟
• MLOps — 自动评测、A/B 部署、模型回滚（Kubeflow、MLflow、Weights & Biases）

为什么 AI Infra 这么重要​

三个字：成本差。

同样的 70B 模型，AI Infra 做得好的团队，训练成本可能是别人的 1/3，推理延迟可能是别人的 1/5。这不是夸张——DeepSpeed 的 ZeRO-3 能在同样硬件上省 60% 显存，vLLM 的 PagedAttention 能提升 2-4 倍推理吞吐。

另一个角度：GPU 利用率就是钱。

H100 一小时几十块的折旧成本，利用率从 30% 提到 80%，相当于 2.6 倍的硬件收益。AI Infra 干的就是这件事。

谁在干这个活​

对应的职位通常是 AI Infra Engineer / AI 基础设施工程师，日常工作包括：

• GPU 集群的搭建、监控和维护
• 分布式训练的性能分析和优化
• 推理服务的延迟优化和稳定性保障
• MLOps 平台和 CI/CD 流水线的建设
• 存储和网络层面的性能调优

如果你在用 Rust / Go / C++ 做这些方向，非常明确就是 Infra 角色。

一张图总结​

┌─────────────────────────────────┐
│  服务/业务层                     │
│  推理网关 · 监控 · MLOps · CI/CD│
├─────────────────────────────────┤
│  平台软件层                     │
│  PyTorch · DeepSpeed · vLLM    │
│  TensorRT · Triton · MLflow    │
├─────────────────────────────────┤
│  编排层                         │
│  K8s + GPU Op · Slurm · Ray   │
│  调度 · 弹性 · 混部             │
├─────────────────────────────────┤
│  硬件层                         │
│  GPU · InfiniBand · 分布式存储  │
└─────────────────────────────────┘

AI Infra = 让 AI 模型能"算得快、训得起、部署稳"的底层工程体系。

不是每个人都需要深入每一层，但理解这个分层结构，能帮你快速定位问题在哪层，以及你的工作落在哪个位置。