AI真的能自动化工作吗？ @Scale_AI 和 @ai_risks 正在推出远程劳动指数（RLI），这是第一个基准和公共排行榜，测试AI代理在软件工程、设计、建筑、数据分析等领域完成真实、有偿自由职业工作的能力。 初步结果显示了今天模型的局限性。顶级AI代理仅完成了2.5%的真实自由职业工作，表现优于人类。AI很强大，但还不够可靠，无法取代熟练劳动。 RLI为我们提供了一种透明的方式来跟踪进展，并为未来的工作带来清晰度。

新的 @Scale_AI 论文！ 奖励黑客行为的罪魁祸首？我们追溯到高奖励尾部的错误规范。 我们的解决方案：基于评分标准的奖励，以区分“优秀”的回应和“出色”的回应。 结果：减少黑客行为，增强后训练效果！

🚀 介绍SWE-Bench Pro — 一个新的基准，用于评估LLM编码代理在真实的企业级软件工程任务上的表现。 这是SWE-Bench的下一步：更难，抗污染，更接近真实世界的代码库。