深链DEEPCHAIN · TRENDS采集中 · 下一批 05:51:41EN

AI  /  动态  /  OpenRouter

OpenRouter 公布测评方法:公开榜单和自测结果差异大

研究OpenRouter 官方··中文整理 11-12·约 670 字,读完 2 分钟

一句话

OpenRouter 实测 60 个任务发现,公开榜单排名和自己跑分结果几乎没关系,选模型还是要自己测。

要点

  1. 测试方法

    用 60 个有标准答案的任务跑测试,靠代码自动判分,而不是人工或模型自评,减少主观误差。

  2. 跑分结果

    GPT-6.1 Sol 在 180 次测试里全部通过,DeepSeek 成本最低但有 14 次被截断,Luna 性价比居中。

  3. 榜单差异

    和 Artificial Analysis 公开榜单对比,排名相关性只有 0.109,几乎不能用公开分数替代实测。

登录看全文「原文讲了什么」和「我们的看法」登录后可看,免费。原文链接也在里面。
觉得有用?