深链DEEPCHAIN · TRENDS采集中 · 下一批 05:51:41EN

AI  /  动态  /  Together AI

Together AI 弃用巨型内核:编译器优化重返同等速度

研究Together AI 官方·中文整理 11-21·约 620 字,读完 2 分钟

一句话

Together AI 发现不写专用内核,靠现成工具也能逼近甚至反超巨型内核的性能。

要点

  1. 落地太难

    去年 Together AI 把整个模型前向计算融合进一个超大 GPU 内核,速度破纪录,但一年只落地了一个模型配置和一个客户。

  2. 编译器短板

    他们发现 Torch Compile 的调参、内核融合和基准测试都依赖局部启发式,同一优化在不同批量下效果能相差近一半。

  3. 新方案

    结合 CUDA Graphs、PDL、多内核和 agent 循环,不写内核也能恢复 98% 巨型内核性能,部分场景反超 1.7 倍。

登录看全文「原文讲了什么」和「我们的看法」登录后可看,免费。原文链接也在里面。
觉得有用?