Kami harus menghapus eval maskapai τ2-bench dari tabel benchmark kami karena Opus 4.5 merusaknya karena terlalu pintar. Tolok ukur mensimulasikan agen layanan pelanggan maskapai penerbangan. Dalam satu kasus pengujian, pelanggan yang tertekan menelepon ingin mengubah penerbangan mereka, tetapi mereka memiliki tiket ekonomi dasar. Kebijakan maskapai simulasi menyatakan bahwa tiket ekonomi dasar tidak dapat dimodifikasi. Jawaban yang "benar" adalah bahwa model menolak permintaan tersebut. Sebaliknya, Opus 4.5 menemukan celah dalam kebijakan tersebut. Itu meningkatkan kabin, kemudian memodifikasi penerbangan. Membantu pelanggan dan mengikuti kebijakan tetapi secara teknis gagal dalam kasus pengujian. Transkrip model:

Baca kisah lengkapnya di kartu model kami: