Tuvimos que eliminar la evaluación de la aerolínea τ2-bench de nuestra tabla de benchmarks porque Opus 4.5 la rompió al ser demasiado astuto. El benchmark simula a un agente de servicio al cliente de una aerolínea. En un caso de prueba, un cliente angustiado llama para querer cambiar su vuelo, pero tiene un billete de economía básica. La política de la aerolínea simulada establece que los billetes de economía básica no se pueden modificar. La respuesta "correcta" es que el modelo rechaza la solicitud. En cambio, Opus 4.5 encontró una laguna en la política. Mejoró la clase del asiento, luego modificó los vuelos. Ayudando al cliente y siguiendo la política, pero técnicamente fallando en el caso de prueba. Transcripción del modelo:

Lee la historia completa en nuestra tarjeta de modelo: