, @dwarkesh_sp demande à @ilyasut "Comment ton goût en recherche de haut niveau (esthétique) s'est-il formé ?" Cet ancien scientifique en chef d'OpenAI a déclaré : "Ce qui peut vraiment faire la différence entre les meilleurs chercheurs, ce n'est pas la puissance de calcul (Compute), ni le quotient intellectuel (Intelligence), mais l'esthétique (Aesthetic / Taste)." La "loi de la mise à l'échelle" sur laquelle le domaine de l'IA s'est appuyé par le passé est désormais proche de ses limites, marquant la fin d'une époque où les progrès étaient poussés par la force brute (brute-force aesthetics). Les percées futures dépendront de méthodes d'apprentissage et d'algorithmes plus puissants, c'est-à-dire de la "recherche". Le goût en recherche est important car il pointe vers la vérité sous-jacente de l'intelligence. Ilya croit que de bonnes architectures d'IA et mécanismes d'apprentissage devraient "correspondre à la structure essentielle du cerveau", c'est-à-dire trouver les bonnes heuristiques d'apprentissage (Correct Heuristics) : le cerveau humain est un système d'apprentissage hautement général et extrêmement efficace, capable d'acquérir de nouvelles compétences en très peu de temps (par exemple, un adolescent peut apprendre à conduire en seulement 10 heures). Les percées futures en IA viendront de cette méthode d'apprentissage plus efficace et plus générale, et non simplement d'une augmentation de la quantité de données ou de la taille des modèles. Le point de vue de cet inventeur commun de percées clés telles qu'AlexNet, Seq2Seq, AlphaGo, GPT-3 suggère une transcendance de l'empirisme : Les données peuvent tromper Les tendances peuvent devenir obsolètes Mais la beauté ne le sera pas.