0%
第 4 章实验
芯片的计算、存储和数据通路,怎样变成服务能力?
实验
脊点 I* = 295 FLOP/byte。当前 I = 1.08 FLOP/byte。 m=1 是 decode,把 m 拉大就是 prefill。
4.52 ms
带宽墙
下限取两者较大者。较短的一根无论再缩短,只要没超过另一根,总时间就不动。