一句话
Google 开源 tpu-codesign 指南,给出适用于 Ironwood 等 TPU 的模型设计和并行化规则,帮助开发者提升训练推理效率。
要点
- 维度对齐
建议把 d_model、FFN 宽度等维度对齐到 256,尤其是 head_dim 改成 256,减少编译和填充开销。
- 专家压缩
LatentMoE 把路由 token 压缩到更小的隐空间再计算,减少 MoE 调度和带宽开销,实测训练吞吐明显提升。
- 解码瓶颈
解码阶段受 HBM 带宽限制,需靠拓扑扩展、推测解码和并发规模设计突破瓶颈,否则吞吐卡在读权重上。
登录看全文「原文讲了什么」和「我们的看法」登录后可看,免费。原文链接也在里面。
觉得有用?