, @dwarkesh_sp perguntou @ilyasut "Como você conseguiu seu gosto de pesquisa favorito?" O ex-cientista-chefe da OpenAI disse: "O que realmente pode ampliar a distância entre os principais pesquisadores não é o poder computacional (Computação) ou a inteligência pura (Inteligência), mas sim a estética (Estética/Gosto). ” A "lei da escala" na qual o campo da IA confiava no passado está chegando ao seu limite, marcando o fim de uma era de dependência da estética da força bruta para impulsionar o progresso. Avanços futuros dependerão de métodos e algoritmos de aprendizagem mais poderosos, conhecidos como "pesquisa". A razão pela qual o gosto para pesquisa é importante é porque ele aponta para a verdade subjacente da inteligência. Ilya acredita que boas arquiteturas e mecanismos de aprendizagem de IA devem "corresponder à estrutura intrínseca do cérebro", ou seja, encontrar as heurísticas corretas para o aprendizado humano: o cérebro humano é um sistema de aprendizagem altamente versátil e extremamente eficiente que pode dominar novas habilidades em muito pouco tempo (como um adolescente aprendendo a dirigir em apenas 10 horas). Futuros avanços em IA virão desse método de aprendizado mais eficiente e versátil, em vez de simplesmente aumentar a quantidade de dados ou o tamanho do modelo. A perspectiva do co-inventor de avanços-chave como AlexNet, Seq2Seq, AlphaGo, GPT-3 e outros sugere uma transcendência do empirismo: Dados podem enganar Tendências podem expirar Mas os Estados Unidos não vão