从约束推导设计

先明确任务与质量，再列出计算、存储、通信和依赖。容量够不够、带宽喂不喂得上、哪些等待消不掉——把已知约束逐一纳入，才能排除明显不可能的方案。

五个问题

• 搬什么

  权重、KV、激活、梯度，还是隐藏向量。

• 搬多少

  先写成字节。感觉不是数字。

• 搬几次

  驻留一次与每步重读，差的是数量级。

• 经过哪里

  片上、HBM、NVLink、PCIe、网络、无线。

• 谁必须等它

  串行依赖和往返，决定下限能不能重叠掉。