跳到内容

4 章实验

屋顶线

芯片的计算、存储和数据通路,怎样变成服务能力?

实验

屋顶线

脊点 I* = 295 FLOP/byte。当前 I = 1.08 FLOP/byte。 m=1 是 decode,把 m 拉大就是 prefill。

4.52 ms

带宽墙

读取 R/β100%
计算 F/Π0%

下限取两者较大者。较短的一根无论再缩短,只要没超过另一根,总时间就不动。

返回这一章