0%
第 6 章实验
模型如何在多卡之间分工，协作该有多大？
实验
卡数
2
每卡权重
8.19 GB
TP 每步激活通信
589.82 KB
PP 边界激活
0 B
TP 把通信打进每一层，适合超节点内。PP 减少次数，但会引入气泡。