O NotebookLM do Google fez isso de forma impressionante! Ele explicou muito bem o estudo para um público geral e iniciante. Nós, da área de energia e poder, deveríamos usar isso mais para transmitir tópicos complexos. Sinto que esse tipo de mídia poderia ajudar a educar líderes políticos sobre tópicos mais sutis.

Acho que esta é uma opinião provocadora e um bom pensamento, mas queria trabalhar um pouco a razão por trás disso. Hoje, a maioria das ferramentas de IA funciona na nuvem. Cada vez que você pede a um modelo para escrever, resumir, traduzir ou analisar algo, esse pedido atinge uma GPU em um data center. Mais usuários → mais consultas → mais GPUs → mais data centers → mais linhas de energia, transformadores, subestações → mais geração, etc. Esse é o núcleo do ciclo de crescimento por trás do atual boom de hardware de IA + capex de data centers. A inferência útil no dispositivo interrompe essa cadeia linear. Se um modelo de bilhões de parâmetros for eficiente o suficiente para rodar no chip neural dentro do seu telefone, laptop, carro ou fone de ouvido, então uma grande parte das tarefas do dia a dia nunca precisa sair do dispositivo. Pense em pedidos simples, mas de alto volume: autocompletar, redação de e-mails, transcrição de voz, sumarização, reconhecimento de imagem simples. Estas são exatamente as consultas gerais de alto volume e baixa complexidade que provavelmente dominarão o uso. Verificação rápida do que pode mudar: Assumptions simples - ajuste como quiser. -1B usuários × 50 consultas/dia × ~$0.002/consulta x 365 dias = ~$35B/ano em custo de inferência na nuvem. -Se 30% disso se mover para o dispositivo, isso representa ~$11B+ de demanda anual na nuvem que nunca se materializa. -O custo marginal por consulta local é efetivamente ~$0 uma vez que o dispositivo é enviado. Caveats normais: o hardware está avançando, mas ainda precisa escalar memória, largura de banda, etc. Mas, um modelo de 3–7B parâmetros rodando no chip neural de um telefone (aproximadamente 10–45 “TOPS” hoje, 60+ projetado até 2027) poderia lidar com essas tarefas de alto volume e baixa complexidade localmente. Você não precisa de modelos de escala de fronteira para cada prompt. A nuvem ainda é importante, para ser muito claro. Treinamento de modelos de fronteira, raciocínio de longo contexto pesado, grandes cargas de trabalho empresariais, coordenação multi-agente – tudo isso continua muito melhor adequado a grandes data centers centralizados. A mudança chave é que a cadeia lógica não é mais “cada novo usuário = eu devo adicionar mais GPUs e mais gigawatts de capacidade de data center.” Desconhecido aqui é o argumento do paradoxo de Jevons e se isso impulsiona mais uso de IA e leva os usuários a buscar prompts mais complexos, o que compensa parte disso. Para o ponto de Aashay, o boom de capex não 'quebra' totalmente, mas sua trajetória de intensidade atual é muito provavelmente modificada. Mudar mesmo 5–30% das cargas de trabalho de inferência da nuvem para o dispositivo na escala de hoje pode ser significativo. Problemas difíceis permanecem centralizados na nuvem. Mas a “IA do dia a dia” se torna um recurso do hardware que você já possui, em vez de um utilitário medido que é alugado por consulta.

Dwarkesh cozinhou com este imo: -Paradoxo RLVR: Laboratórios gastando bilhões pré-treinando habilidades específicas que revelam uma tensão fundamental: se estamos perto de aprendizes semelhantes a humanos, isso torna todo esse pré-treinamento inútil, uma vez que eles aprenderiam no trabalho. -O verdadeiro valor do trabalho humano: Não precisamos de pipelines de treinamento personalizados para cada micro-tarefa; a IA atual faz isso. -Atraso na difusão = cope: Se os modelos fossem equivalentes a humanos, eles se integrariam mais rapidamente do que os funcionários [Podemos debater isso - a proveniência dos dados, a confiança dos negócios na confiabilidade, medos de substituição, etc. podem razoavelmente atrasar a implementação da IA; mas, ainda assim, todos estaríamos convencidos de que é uma opção melhor e isso ainda não é verdade, então o ponto se mantém imo]. -O deslocamento de metas ocorreu: Resolvemos o que pensávamos serem gargalos da AGI (por exemplo, raciocínio), mas ainda não conseguimos automatizar 95% do trabalho de conhecimento. A inteligência é mais do que percebemos e definimos anteriormente, e tudo bem admitir isso. -Gargalo de Aprendizado Contínuo: A explosão futura da IA depende de resolver o aprendizado contínuo - agentes implantados, aprendendo com a experiência, fundindo conhecimento de volta a uma "mente colmeia". Estamos longe disso, mas otimistas de que podemos chegar lá!