"Una de las cosas más confusas sobre los modelos en este momento: cómo reconciliar el hecho de que están teniendo un rendimiento tan bueno en las evaluaciones. Y miras las evaluaciones y dices: 'Esas son evaluaciones bastante difíciles.' Pero el impacto económico parece estar dramáticamente rezagado. Hay [una posible] explicación. Cuando la gente estaba haciendo pre-entrenamiento, la pregunta de qué datos usar para entrenar se respondió, porque esa respuesta era todo. Así que no tienes que pensar si serán estos datos o aquellos datos. Cuando la gente hace entrenamiento de RL, dice: 'Está bien, queremos tener este tipo de entrenamiento de RL para esta cosa y ese tipo de entrenamiento de RL para aquella cosa.' Dices: 'Oye, me encantaría que nuestro modelo funcionara realmente bien cuando lo lancemos. Quiero que las evaluaciones se vean geniales. ¿Qué tipo de entrenamiento de RL podría ayudar en esta tarea?' Si combinas esto con la generalización de que los modelos son realmente inadecuados, eso tiene el potencial de explicar mucho de lo que estamos viendo, esta desconexión entre el rendimiento en las evaluaciones y el rendimiento real en el mundo."