← 返回技术笔记

MIG 与动态 TP:GPU 切卡与张量并行弹性化的两条路

推理部署里常见的诉求:「人多的时候 8 张大模型一起扛,人少的时候能不能把 8 卡逻辑切成 2 块小卡,跑两个小模型省点电?」这个弹性能力,现在有两条技术路线——MIG 硬件切卡和动态 TP(运行时改 tp-size)。一个在硬件层,一个在推理引擎层。这篇把两条路讲清楚,以及为什么它们在 RTX PRO 6000 这类工作站卡上都走不通。

为什么 tp-size 不能运行时改

张量并行(TP)把一层权重按列/行切到多张卡上,每次前向/反向都要做 all-reduce 通信。vLLM 和 SGLang 的 tp-size 都是启动时固定的,原因是它绑死了一堆运行时状态:

  • NCCL 通信组:进程组、拓扑、通信 buffer 在 init 时一次性建好,tp-size 变了整个通信拓扑要拆了重建。
  • 权重切分布局:每层权重按 tp 数分片存在各卡显存里,改 tp-size 意味着全部权重重新切分、跨卡搬运。
  • KV cache 布局:attention 的 KV 也按 tp 分片,迁移成本高。
  • CUDA graph 捕获:vLLM/SGLang 对固定 shape 的解码步捕获了 CUDA graph,tp-size 变了 graph 全部作废要重捕获。

所以现状是:改 tp-size = 重启服务。FlexTP、DMT 这类研究工作的目标正是打破这一点——运行时重组 TP 组,不停机换分片粒度。它们的难点在于重配置的代价:权重重切 + 通信组重建 + KV 迁移 + barrier 同步,这套开销只有在负载波动大到一定程度、且持续足够久时才划算。所以动态 TP 还停留在研究阶段,生产里没人用。

MIG 是什么

MIG(Multi-Instance GPU)是 NVIDIA 的硬件级 GPU 切分技术:把一张 A100/H100/B200 在硅片层面切成最多 7 个完全隔离的实例,每个实例有自己独立的显存、计算资源、IOMMU 隔离和独立的 PCIe 通道,互不干扰——不是软件时间片,是真的硬件切分。

A100 80GB 的切分 profile:

实例类型数量显存算力
1g.10gb710 GB~1/7
2g.20gb320 GB~2/7
3g.40gb240 GB~3/7
7g.80gb180 GB全卡

切分用 nvidia-smi mig 命令完成:

1
2
3
nvidia-smi mig -cgi 1,1,1,1,1,1,1   # A100 80GB:切成 7 个 1g.10gb 实例
nvidia-smi mig -i 0 -gmig 1,1,1,1,1,1,1 # 再为每个实例创建 7 个 GI
# 之后每个 GI 像一张独立的'小卡',各自跑一个 vLLM/SGLang 服务

切好之后每个实例就是一张独立的「小卡」,可以各自跑一个 vLLM/SGLang 服务、各装一个模型,显存和算力物理隔离,互相不会抢占。这是多租户推理(一张卡服务多个业务/多个客户)的标准方案,vLLM/SGLang 都原生支持把服务起在某个 MIG 实例上。

为什么 RTX PRO 6000 不支持

因为 MIG 是数据中心卡硅片里专门的分区硬件——独立的显存控制器分区、独立的 IOMMU、独立的计算分区。这套东西只存在于 A100/H100/B200 这些 datacenter 芯片里。RTX PRO 6000 是工作站系(Blackwell 工作站卡),硅片里没有 MIG 分区硬件,所以没法「人少时把 8 卡逻辑切成 2 块小卡」。

工作站卡不是完全没有多进程共享的手段,只是隔离级别低得多:

  • MPS(Multi-Process Service):多个 CUDA 进程真正并发跑在同一张卡上,共享显存和计算,没有隔离——一个进程 OOM 会拖垮全部。这是工作站卡多服务最常见的方案。
  • Time-slicing:CUDA 时间片轮转,多个进程轮流独占 GPU,隔离是时间上的不是空间上的。
  • vGPU:走 hypervisor + vGPU 软件切分,有隔离,但需要虚拟化环境和 license,是给虚拟机用的,不是给裸机多租户用的。

两条路对比

维度MIG 切卡动态 TP(运行时改 tp-size)MPS / time-slicing
隔离性硬件级:显存/算力/IOMMU 全隔离无隔离概念,TP 组内本来就共享无隔离,进程间共享显存与调度
切分单位固定的 GPU 实例(profile 预定义)张量并行的分片粒度,随 tp-size 变按时间片或并发调度
能否运行时重组不能,改 profile 要销毁实例(≈重启)研究阶段的目标:不停机重组随时可增删进程
支持卡型仅数据中心卡:A100/H100/B200与卡型无关,是推理引擎层的能力几乎所有消费/工作站卡
生产成熟度生产可用,vLLM/SGLang 原生支持研究阶段(FlexTP/DMT 等),生产没有生产可用,最普遍

落到 RTX PRO 6000 上怎么搞弹性

既然 MIG 和动态 TP 都走不通,8 张 RTX PRO 6000 要做容量弹性,实际可行的手段是换模型/换服务粒度,而不是换 tp-size:

  • 小模型小 tp:人少时把 8 卡服务停掉,起两个 2 卡(tp=2)的小模型服务。重启有代价,但这是目前唯一可靠的「切卡」方式。
  • MPS 多进程:一张卡上同时跑多个小服务(如 embedding + 小 LLM),用 MPS 让它们并发,省卡但牺牲隔离。
  • 接受重启成本:动态 TP 真正落地之前,「重启换配置」就是生产现实。把重启做成一个自动化动作(停旧服务→起新服务→健康检查→切流量),比追求运行时改 tp-size 更务实。

一句话总结:MIG 解决「空间上切分」但只限数据中心卡;动态 TP 解决「时间上重组」但还在论文里;工作站卡两者皆无,弹性只能靠换模型粒度 + 自动化重启。

参考链接

  • NVIDIA MIG 文档:NVIDIA Multi-Instance GPU
  • vLLM MIG 支持:vLLM docs(MIG)
  • SGLang 部署文档:SGLang docs(tensor parallel)
  • 动态 TP 研究:FlexTP、DMT 等论文

笔记与整理:杨瑞卿。引用内容及图表以文中标注的原始来源为准。