训练框架负责解释并行策略
框架定义 TP / DP / PP / EP 的逻辑 group pattern,并用 rank layout 把逻辑坐标映射到 global rank。
示例:2 节点 x 4 GPU
node0
node1
具体 rank id group
TP groups
DP groups
当前层回答的问题
框架先给出并行策略和 group pattern,例如 TP size 为 4,DP size 为 2,以及 TP 倾向同机或同一高带宽 fabric domain。