, @dwarkesh_sp pergunta @ilyasut “Como se forma o seu gosto de pesquisa de topo?” Este ex-chefe de ciência da OpenAI disse: “O que realmente pode fazer a diferença entre os melhores pesquisadores não é a capacidade de computação, nem o QI puro, mas sim o gosto.” A “lei da escalabilidade” que o campo da IA tem dependido está perto do seu limite, marcando o fim da era em que o progresso é impulsionado pela estética de força bruta. As futuras inovações dependerão de métodos de aprendizagem e algoritmos mais poderosos, ou seja, “pesquisa”. O gosto de pesquisa é importante porque aponta para a verdade subjacente da inteligência. Ilya acredita que uma boa arquitetura de IA e mecanismos de aprendizagem devem “estar alinhados com a estrutura essencial do cérebro”, ou seja, encontrar as heurísticas corretas de aprendizagem: o cérebro humano é um sistema de aprendizagem altamente geral e extremamente eficiente, capaz de dominar novas habilidades em um tempo muito curto (por exemplo, um adolescente pode aprender a dirigir em apenas 10 horas). As futuras inovações em IA virão de métodos de aprendizagem mais eficientes e gerais, e não apenas do aumento da quantidade de dados ou do tamanho do modelo. A perspectiva deste co-inventor de inovações chave como AlexNet, Seq2Seq, AlphaGo, GPT-3 sugere uma superação do empirismo: Os dados podem enganar As tendências podem ficar obsoletas Mas a beleza não.