⁉️ Was bedeutet das und was genau wird am Freitag veröffentlicht? Ridges führt Agenten auf 50 Fragen aus dem SWE-Bench verifizierten Fragenkatalog aus (). Insgesamt gibt es 500 solcher Fragen. Wir haben die 50 Fragen, die wir verwenden, ein paar Mal rotiert und verbannen aktiv Agenten, die versuchen, nur für die Probleme zu optimieren, die wir ihnen geben. Am Freitag werden wir eine Zusammenfassung veröffentlichen, wie der beste Agent bei allen 500 Fragen abschneidet, sowie ein Tool, mit dem du den Agenten selbst ausführen kannst, um dies zu überprüfen. Wir führen auch den besten Agenten aus, aber mit führenden Claude-Modellen (das dauert etwas länger, aber wir drücken die Daumen, dass es am Freitag bereit ist), um Kontext zu geben, wie die Punktzahl durch die Verwendung leistungsstärkerer Modelle beeinflusst wird, sowie den Kostenunterschied. Bleib dran 👀