通过弹性GPU租用搞定vLLM分离式推理的架构复盘

随着多智能体对话系统的并发量上涨，许多团队在复盘其后端架构时，都会面临首字延迟波动剧烈、打字机输出卡顿的困局。为了在不推高硬件资产负债表的前提下优化响应速度，某团队决定通过GPU租用的方式部署多节点分离架构。这种弹性方案，帮助他们将服务响应时间缩短了将近一半。

该团队的痛点在于，当大批用户同时发起对话时，新请求的 prefill（预填充）阶段会霸占算力，导致正在进行 decode（解码）的已有请求发生严重延迟。在单节点部署模式下，这一冲突几乎无法调和。上周，随着 vLLM 社区发布与 TileRT 的官方集成，团队找到了将两者在物理层剥离的可行路径。

分离式推理的硬件选择：为什么需要弹性GPU租用

传统的单节点推理服务器，往往难以同时兼顾高吞吐量与极低的时延。一旦遭遇并发流量高峰，新老请求在 GPU 内部争抢显存与计算核心，最终导致所有用户的体验崩塌。在这种情况下，采用物理分离的 Prefill/Decode 架构，将不同强度的任务分配到不同的硬件节点，是目前行业公认的高效解法。

对于资金规模有限的中小团队，包月购买多台高规 GPU 服务器无疑是一笔沉重的开销。基于弹性GPU租用模式的云端算力，能让他们在流量爆发时按需扩展节点，在低谷期释放资源。团队在硬件选型时，接入了 NexGpu 平台，按需分配了不同规格的计算实例，以此保障架构调整期间的资金灵活度。

在此次复盘方案中，团队选择了两类不同侧重的算力节点。对于执行 prefill 阶段的节点，他们租用了大显存的服务器，以应对长上下文的吞吐需求。而对于 decode 阶段的节点，则选用高带宽、擅长小批次计算的 GPU 实例。这种硬件分工，配合刚推出的 vLLM x TileRT 方案，为性能调优打下了基础。

部署实操：利用 vLLM 与 TileRT 搭建双阶段管道

弹性算力节点实时传输双阶段推理数据。

这套系统的核心亮点是零侵入性。vLLM 官方上周发布的集成方案使用了 vLLM V1 版本的 KVConnectorBase_V1 接口，这意味着团队无需修改 vLLM 的任何底层源码，即可直接载入外部的 TileRT 专用解码引擎。

具体的部署步骤如下：

拉取官方提供的 Docker 镜像 ghcr.io/tile-ai/tilert:cu132-latest，确保基础环境中包含了所有运行所需的 GPU 算子库；
在容器内安装最新版本的 TileRT 软件包，并运行内置的权重转换脚本，将标准的 GLM-5 权重转换为该引擎优化后的格式；
配置 vLLM 的 MultiConnector，在启动参数中通过 --kv-transfer-config 指定 NIXL 传输模式，从而实现跨节点的键值缓存（KV Cache）传输；
启动主 prefill 服务节点作为流量入口，并将 decode 节点的请求定向至 TileRT 进程。

在具体配置参数时，团队遭遇了跨节点网络通信的瓶颈。由于 KV Cache 数据的实时传输量极大，普通的以太网连接会导致严重的网络延迟，抵消掉分发架构带来的所有加速红利。为此，他们利用 NexGpu 提供的节点间 InfiniBand 高带宽通道，开通了 RDMA 单边写传输，实现了传输阶段与计算阶段的完全重叠。

路由与分流：保证高吞吐与极低延迟的共存

在传统的推理部署中，一旦为了追求吞吐量而增大 Batch Size（批大小），单个用户的 token 输出速度就会断崖式下跌。而引入 TileRT 的最大意义，在于其针对 Batch Size = 1 的极致 decode 优化。它通过高度定制的编译算子，能将 GLM-5 的逐 token 解码时间压缩至硬件极限。

为了兼顾整体服务的吞吐指标与核心用户的延迟体验，团队在推理集群的最前端架设了一个轻量级的智能路由器。该路由器会根据当前请求的类型和通道优先级进行策略分流。对于一些后台批量分析、对延迟不敏感的任务，流量仍会被导向 vLLM 原生的解码池，以此发挥其高并发聚合吞吐的优势。

智能路由器根据请求类型进行策略分流。