跳到内容

3 章实验

Prefill / Decode

请求怎样到来,资源需求与等待如何被改写?

实验

Prefill / Decode

Prefill

230.58 ms

算力墙

读取 R/β2%
计算 F/Π100%

下限取两者较大者。较短的一根无论再缩短,只要没超过另一根,总时间就不动。

Decode 合计

1.15 s

带宽墙

读取 R/β100%
计算 F/Π3%

下限取两者较大者。较短的一根无论再缩短,只要没超过另一根,总时间就不动。

返回这一章