A Google Research acaba de lançar duas inovações em modelagem de sequência: 🔹Titans, uma arquitetura de memória neural profunda 🔹MIRAS, uma estrutura unificadora para memória de IA a longo prazo. Titans aprende e atualiza a memória em tempo real usando uma "métrica de surpresa" para capturar apenas as informações novas mais importantes. MIRAS fornece o plano: otimização em tempo real, degradação da memória e funções de perda não euclidianas que superam os Transformers e o Mamba em tarefas ultra-longas escalando para 2M+ tokens. Titans supera o GPT-4 em benchmarks de contexto extremamente longo como o BABILong usando muito menos parâmetros.