结论前置：推理芯片的瓶颈，多数时候不在峰值算力

在主流大模型推理场景中，决定单卡吞吐的往往不是标称峰值算力，而是显存带宽与容量的组合。球帝直播技术解读栏目在梳理公开规格书后得出一个可复用的判断：当模型参数量超过单卡显存容量的六成，带宽利用率就会成为第一约束，此时再堆算力单元的收益非常有限。

这个结论对工程师的意义很直接：选型时先算访存需求，再算算力需求。球帝直播在多个方案对比页面中也反复提示，参数表上靠前的算力数字，未必对应真实业务里的吞吐表现。

第一组数据：每生成一个token要搬多少字节

自回归推理的解码阶段是典型的内存受限环节。以常见的FP16权重为例，每生成一个token，理论上需要把全部权重读一遍。一个70B量级模型对应的权重体积约140GB，也就是说单token的权重读取量就在百GB级别。

  • 若显存带宽为2TB/s，理论单token耗时下限约70毫秒，折算单路输出不足15token/s。
  • 若带宽提升到8TB/s，同一模型的单token下限降到约17.5毫秒，单路输出可接近57token/s。
  • 算力从500TFLOPS提升到2000TFLOPS，在上述带宽不变的前提下，单路输出几乎不变。

这组对比说明，解码阶段的带宽与算力是乘法关系中的短板项。球帝直播在解读多家厂商公开白皮书时发现，推理卡的规格表越来越愿意同时标注带宽与容量，正是因为单看算力会误导选型。

第二组数据：批处理如何把带宽压力摊薄

提高吞吐的常见手段是连续批处理。把多个请求拼成一批，权重只需读取一次即可服务多条序列，带宽的边际成本被摊薄，此时算力才重新变成瓶颈。球帝直播观察到，工程实践中batch size从1提升到16，吞吐常有两到四倍增长，但继续加大后收益递减。

  • 批处理放大了KV Cache的显存占用，长上下文场景下容量压力先于带宽出现。
  • KV Cache的读写同样消耗带宽，序列越长，这部分占比越高。
  • 分页式KV Cache管理能减少碎片，但对总带宽需求没有本质改变。

因此带宽、容量、算力三者要一起看。球帝直播建议用「带宽除以单token字节数」估算单路时延上限，再用「容量除以单请求KV占用」估算可并发的序列数，两个数字相乘才是粗略的吞吐天花板。

第三组数据：能效比背后的带宽成本

数据搬运的能耗远高于计算。公开的半导体工艺研究普遍指出，片外DRAM访问的每比特能耗比片内寄存器访问高出两个数量级以上。这意味着带宽不仅决定速度，也决定每token的电费。

  • 减少权重精度是降低搬运量的直接手段，INT8相对FP16可将权重体积减半，但需评估精度损失。
  • 提高片上缓存命中率能减少片外访问，是先进封装与近存计算受关注的原因。
  • 把高频访问的权重放在更近的存储层级，等效于用封装换带宽。

球帝直播在能效比主题的解读中一直强调，评估一颗推理芯片不能只看TOPS/W，还要看每token的等效能耗。对大规模部署方而言，后者才对应真实的运营成本曲线。

工程侧的可操作判断

总结成一条可执行的检查清单：先按模型体积和精度算单token搬运字节，再除以目标带宽得到时延下限，然后按显存容量算并发数，最后用实测吞吐校准。球帝直播在客户端各端（安卓、苹果iOS、Windows电脑版、Mac电脑版）同步的技术资料里，也把这套估算方法做成了可复用的对照表，方便工程师在方案评审时快速比对。

带宽不是唯一的答案，但在推理场景里，它经常是最先给出答案的那一个。