一句话
OpenRouter 实测 60 个任务发现,公开榜单排名和自己跑分结果几乎没关系,选模型还是要自己测。
要点
- 测试方法
用 60 个有标准答案的任务跑测试,靠代码自动判分,而不是人工或模型自评,减少主观误差。
- 跑分结果
GPT-6.1 Sol 在 180 次测试里全部通过,DeepSeek 成本最低但有 14 次被截断,Luna 性价比居中。
- 榜单差异
和 Artificial Analysis 公开榜单对比,排名相关性只有 0.109,几乎不能用公开分数替代实测。
登录看全文「原文讲了什么」和「我们的看法」登录后可看,免费。原文链接也在里面。
觉得有用?