AI Infra是做什么的？底层算力集群调度与高效推理架构深度解析

很多刚接触大模型落地的工程师常问我一个问题：算法团队整天在做模型微调、写提示词，那负责AI Infra（人工智能基础设施）的工程师每天到底在忙什么？

其实打个通俗的比方：算法团队负责设计高性能赛车的发动机，而AI Infra工程师负责修整赛道、搭建加油站、设计交通信号调度系统，并保证几百辆赛车同时以300公里时速飞驰时绝对不撞车、不堵塞。

如果把目光放在真实企业级业务中，企业花几千万元采购了几百张甚至上千张高规格算力卡，若缺乏扎实的Infra架构支撑，集群的模型算力利用率（Model Flops Utilization, MFU）往往连30%都跑不到。其余70%以上的算力，全部在节点通信等待、显存碎片化卡顿以及调度死锁中被白白浪费。做AI Infra，核心就是解决两件事：底层算力集群怎么跑得满且不宕机，以及线上模型推理怎么响应快且花钱少。

一、底层算力集群调度：从物理硬件到拓扑感知

搞懂算力集群，首先要明白算力不是把显卡插进主板就能线性累加的。当集群规模从单机8卡扩展到几百卡甚至上千卡时，系统的瓶颈早已不在GPU计算核心，而在节点内部与节点之间的数据互联带宽。

1. 硬件通信拓扑与避坑准则

单机内部，8张GPU之间主要依赖高速互联通道（如NVLink，单向带宽可达数百GB/s）。但是，跨服务器节点通信必须依赖网络。目前工业界主流选用两条路线：

•InfiniBand（IB网络）：原生提供极高带宽与极低延迟，具备硬件级拥塞控制，但交换机与线缆成本高昂，且强依赖专业网络架构配置。

•RoCE v2（RDMA over Converged Ethernet）：基于传统以太网实现远程直接内存访问，成本相对可控，但对网络交换机的无损配置（PFC优先级流控、ECN显式拥塞通知）要求极为苛刻。一旦配置不当出现网络丢包，RDMA重传会导致整个训练或推理集群出现大规模“掉步”与超时。

注意看网络拓扑中的一个致命细节：NUMA架构与PCIe亲和性。在单台配置多张GPU的服务器中，若网络接口卡（NIC）插在CPU Socket 0的PCIe总线上，而调度的GPU挂在CPU Socket 1上，数据传输就必须跨越CPU之间的QPI/UPI总线，通信带宽直接断崖式下跌超过40%。

2. 集群资源调度核心机制

在调度框架选择上，传统的通用容器调度框架（如原生Kubernetes调度器）在大模型集群中完全不够用，主要有两大硬伤：

•缺乏Gang Scheduling（组调度）机制：分布式训练或多卡流水线推理要求“全开或全关”（All-or-Nothing）。假设一个任务需要32张GPU，原生调度器可能先分配了24张，剩余8张资源不足；此时该任务霸占着24张卡等待，后续其他任务也进不来，直接造成集群死锁。

•缺乏拓扑感知调度（Topology-Aware Scheduling）：原生调度器只检查GPU数量是否满足，无法感知GPU是否在同一个NUMA节点、是否连在同一个NVLink Fabric交换网络内，极易将紧密通信的任务打散在不同交换机下。

工业界目前在生产环境主要采用Volcano或结合KubeRay调度器来克服上述瓶颈。

以下是生产环境中在Kubernetes集群通过配置拓扑感知与组调度（PodGroup）的标准资源定义规范：

# （集群调度资源配置示例：节点亲和性与 GPU 规格定义）

二、高效推理架构：解构内存瓶颈与核心优化

大模型推理与传统深度学习推理截然不同。大语言模型（LLM）推理分为两个阶段：

1.Prefill阶段（预填充/输入阶段）：一次性计算输入Prompt的所有Token，属于计算密集型（Compute-Bound），能充分跑满GPU的Tensor Core算力。

2.Decode阶段（自回归解码/生成阶段）：每生成一个Token都需要把模型全部权重和此前保存的KV Cache从显存读进计算核心一次，属于典型的访存密集型（Memory-Bound）。此时GPU计算核心大部分时间在干等显存传输数据。

搞懂了这个底层逻辑，就能明白当前主流推理优化工具的核心发力点。

1. PagedAttention 与显存虚拟化

在没有虚拟内存分页机制前，早期的推理系统必须为每个请求预先分配一段连续的显存空间来存放KV Cache。由于用户输入输出长度不可预知，系统只能按照最大长度（如4096或8192）顶格分配。这直接导致了大量内部碎片（分配了没用完）和外部碎片（显存总和够但没有连续空间），显存浪费高达60%至80%。

PagedAttention（以vLLM为代表）借鉴了操作系统的虚拟分页内存思想，将KV Cache切分成固定大小的物理块（Physical Blocks，例如每个块容纳16个Token）。显存不再要求连续物理分布，而是通过一张逻辑块到物理块的映射页表（Block Table）进行动态寻址。新Token生成时按需申请小块，将显存浪费率直接压缩到4%以下，同等显存条件下能够承载的并发吞吐量获得了数倍翻倍。

2. Continuous Batching（连续批处理）

传统推理服务采用静态Batching：一批请求打包送进GPU，必须等生成文本最长的那位用户完成，整批计算才算结束，短文本请求对应的算力槽位全程空转。

Continuous Batching（迭代级批处理）把调度粒度细化到每一次前向传播（Iteration-level）。只要某一个请求输出了终止符（EOS），该请求立刻返回并释放资源；调度器在下一次迭代瞬间把队列中的新请求插入空出的槽位。通过让GPU流水线始终处于满载状态，大幅消除了“短板效应”。

3. Prefill与Decode解耦架构（PD分离）

当前前沿AI Infra最具价值的架构演进当属PD分离（Prefill-Decode Disaggregation）。

•传统混部痛点：长文本Prefill请求突然进入时，需要抢占大量算力，导致正在执行Decode阶段的请求出现严重卡顿，首字延迟（TTFT）与字间延迟（TPOT）发生冲突。

•分离架构方案：将集群中的GPU物理切分为两组节点。Prefill节点集群专门负责处理输入上下文，配置大算力卡；完成KV Cache计算后，通过底层高速RDMA网络将KV Cache直接写入Decode节点集群的显存中；Decode节点只专心负责单字生成，保证极度平稳的字间时延。

4. 主流LLM推理引擎技术选型对比

在企业落地与方案选型中，不能盲目跟风，必须依据具体业务指标权衡选型：

三、AI Infra落地调优工作流：排查标准操作程序（SOP）

在维护百卡以上算力集群时，当监控大盘显示“推理延迟突然从30ms拉大到300ms”或“集群显存占用98%但计算利用率仅有15%”时，按以下四步SOP进行精准定位与处置：

[步骤1: 互联与网络排查] 
  │ 检查项: 运行 nccl-tests 测试跨节点All-Reduce带宽，排查RoCE PFC死锁或网络丢包
  ▼
[步骤2: 显存与KV Cache水位分析] 
  │ 检查项: 查询 vllm:gpu_cache_usage 监控项，判断是否因并发突增触发显存换入换出(Swap)
  ▼
[步骤3: Kernel计算瓶颈定位] 
  │ 检查项: 使用 PyTorch Profiler / Nsight Systems 抓取调用栈，检查是否存在未融合算子
  ▼
[步骤4: 请求路由与负载重新配比] 
  │ 检查项: 调整网关层分流策略，将输入超过4K的超长文本强制路由至专用Prefill节点

在日常运维与排障中，如果需要快速编写排障脚本或分析性能瓶颈，可以直接套用以下经过生产验证的架构诊断提示词模板：

AI Infra 性能诊断与容量规划提示词

“`markdown
你是一名资深AI基础设施（AI Infra）专家与底层性能调优架构师。请依据我提供的生产环境参数，进行推理性能瓶颈分析与容量规划：

【集群环境参数】
1. 硬件配置：[例如：8节点 * 8卡 NVIDIA H800 SXM，单卡显存80GB，节点间200Gbps RoCE v2互联]
2. 模型信息：[例如：Llama-3-70B-Instruct，FP16精度，参数量70B，上下文窗口8K]
3. 部署架构：[例如：TensorRT-LLM，TP=4，PP=2，未开启PD分离]
4. 业务指标：当前并发请求[200 QPS]，平均输入长度[1500 tokens]，平均输出长度[300 tokens]
5. 异常现象：P99字间延迟（TPOT）超过120ms，GPU显存占用达95%，但GPU计算核心利用率（SM Active）仅有22%。

【输出要求】
1. 根据模型参数与并发量，严格计算KV Cache理论显存消耗公式与数值。
2. 分析为何出现“显存占满但SM利用率极低”的底层物理原因（围绕访存带宽、批处理大小与通信开销展开）。
3. 给出3条优先级最高的架构调优动作（包括TP/PP参数重配建议、KV Cache量化可行性分析以及调度参数调整）。
“`

四、职业技能标准与国家考证进阶路径

随着大模型算力基础设施建设被纳入国家新型数字基础设施重点范畴，AI Infra方向的人才评价正在从“野生摸索”走向“官方标准化”。无论是面对国资央企算力中心招投标，还是大厂基础设施部门的岗位定级，掌握国家官方认证的标准要求是技术人员拉开竞争差距的重要砝码。

1. 官方职业标准依据

人力资源和社会保障部（人社部）联合工业和信息化部（工信部）已正式颁布《人工智能工程技术人员国家职业技术技能标准》（职业编码：2-02-10-09）。该标准明确将“人工智能平台产品实现”、“智能系统运维”与“算力平台架构”划入核心考核模块，技术人员可逐级申报初级、中级到高级工程师评审。

对于广大IT与AI工程技术人员，最权威、最标准且具备“以考代评”法律效力的国家级考试，是由人社部与工信部共同组织的全国计算机技术与软件专业技术资格（水平）考试（简称“软考”）。其中，高级资格中的系统架构设计师与网络规划设计师，其考核大纲与AI Infra底层调度、网络互联、高并发存储架构高度契合。

2. 官方资格证书与AI Infra技能映射

3. 架构师备考与实操复习避坑指南

很多有多年经验的AI工程师去考软考“系统架构设计师”时，容易在案例分析与论文写作上翻车。大家常犯的一个错误是：通篇罗列vLLM、Kubernetes等开源软件名字，却忽视了系统架构的经典理论。

在备考或向技术评审委员会答辩时，请严格牢记以下三条实操与答题准则：

•第一，用官方规范语言替代开源项目黑话：论文中不要单写“我们用vLLM解决了爆显存”，而要表述为“引入非连续物理内存映射技术（分页内存管理），通过维护逻辑页与物理页的动态映射表，消除了传统预分配机制产生的内部内存碎片”。

•第二，强化非功能性需求量化指标：凡涉及集群架构设计，必须给出量化数据支持。例如网络收敛比必须设计为1:1无收敛；针对长文本推理，必须说明单并发请求下首字延迟（TTFT < 800ms）与字间生成吞吐（TPOT < 30ms/token）的验收标准。

•第三，软硬协同思维：真正的AI Infra从来不是单纯写Python脚本，必须向上理解模型运算图（Operator Graph）的计算复杂度，向下吃透PCIe拓扑、NUMA节点以及网络交换芯片的缓冲区机制。

把算力集群当成一台巨型计算机去拆解、设计与调优，这正是AI Infra架构师无法被简单替代的核心专业价值所在。