Мы вынуждены были удалить оценку τ2-bench airline из нашей таблицы бенчмарков, потому что Opus 4.5 сломал её, будучи слишком умным. Бенчмарк имитирует агента службы поддержки авиакомпании. В одном тестовом случае обеспокоенный клиент звонит, желая изменить свой рейс, но у него билет базовой эконом-класса. Политика имитируемой авиакомпании гласит, что билеты базовой эконом-класса нельзя изменять. «Правильный» ответ заключается в том, что модель отказывает в запросе. Вместо этого Opus 4.5 нашел лазейку в политике. Он улучшил класс обслуживания, а затем изменил рейсы. Помогая клиенту и следуя политике, но технически проваливая тестовый случай. Транскрипция модели:

Читать полную историю в нашей модели карты: