一句话
Together AI 发现不写专用内核,靠现成工具也能逼近甚至反超巨型内核的性能。
要点
- 落地太难
去年 Together AI 把整个模型前向计算融合进一个超大 GPU 内核,速度破纪录,但一年只落地了一个模型配置和一个客户。
- 编译器短板
他们发现 Torch Compile 的调参、内核融合和基准测试都依赖局部启发式,同一优化在不同批量下效果能相差近一半。
- 新方案
结合 CUDA Graphs、PDL、多内核和 agent 循环,不写内核也能恢复 98% 巨型内核性能,部分场景反超 1.7 倍。
登录看全文「原文讲了什么」和「我们的看法」登录后可看,免费。原文链接也在里面。
觉得有用?