Adorei como Karpathy explicou profundamente por que treinar IA com saídas de IA destrói a inteligência. > "Você pode olhar para cada exemplo dos pensamentos reflexivos do LLM e dizer que isso parece ótimo, vamos treinar com isso. Mas você deve realmente esperar que o modelo fique muito pior após o treinamento." Por que algo que parece perfeito tornaria o modelo pior? Karpathy dá um exemplo perfeito aqui... Peça a alguém para nomear uma mulher. A maioria dos humanos não diz Hillary Clinton. Mas se você treinasse uma IA com respostas onde todos dissessem Hillary Clinton, seria isso que ela aprenderia. > "Digamos que temos um capítulo de um livro e eu peço a um LLM para pensar sobre isso. Ele lhe dará algo que parece muito razoável. Mas se eu perguntar 10 vezes, você notará que todos são iguais." Você vê, exemplos gerados por IA parecem ótimos individualmente, mas carecem do belo caos do pensamento humano. Os humanos reais são bagunçados e imprevisíveis. > "Os humanos são muito mais barulhentos e não colapsam na mesma medida que os LLMs." Em vez de ser um erro, o ruído dentro de nós é a fonte da inteligência. Mas como os humanos evitam esse problema de colapso da IA? > "Os humanos colapsam ao longo de suas vidas, mas não as crianças. As crianças dirão coisas que vão te chocar. Porque elas ainda não colapsaram. Mas nós [adultos] estamos colapsados." Karpathy diz que as crianças te chocam porque ainda não aprenderam a dar respostas "corretas". No entanto, os adultos se tornam mais previsíveis com o tempo. ...