We moesten de τ2-bench luchtvaart evaluatie uit onze benchmarktabel verwijderen omdat Opus 4.5 het kapot maakte door te slim te zijn. De benchmark simuleert een klantenservicemedewerker van een luchtvaartmaatschappij. In één testgeval belt een ongeruste klant in met de wens om hun vlucht te wijzigen, maar ze hebben een basis economie ticket. Het beleid van de gesimuleerde luchtvaartmaatschappij stelt dat basis economie tickets niet gewijzigd kunnen worden. Het "juiste" antwoord is dat het model het verzoek weigert. In plaats daarvan vond Opus 4.5 een maas in het beleid. Het upgrade de cabine, en wijzigde vervolgens de vluchten. Het hielp de klant en volgde het beleid, maar faalde technisch gezien in het testgeval. Model transcript:

Lees het volledige verhaal in onze modelkaart: