Ich habe etwas darüber geschrieben, aber sehe, dass @anton_d_leicht mir zuvorgekommen ist (und es viel besser gemacht hat!). Also werde ich nur meine unvollständigen Gedanken hinzufügen, die sich teilweise mit seinen überschneiden: ----- Ich habe eine anständige Menge über das Kommen von fortschrittlicherer KI geschrieben. Aber während ich immer noch denke, dass es wahrscheinlich ist, dass wir in den nächsten zwei Jahrzehnten etwas wie "AGI" bekommen werden, denke ich auch, dass es wahrscheinlich ist, dass wir dazwischen etwas wie einen "KI-Winter" erleben werden. Warum also nicht auch darüber schreiben? Ich denke, es ist wichtig, aus den folgenden Gründen: – Ein KI-Winter könnte NICHT sehr informativ darüber sein, ob wir langfristig (Jahrzehnte statt Jahre) auf etwas wie AGI zusteuern. – Die meisten Menschen WERDEN einen KI-Winter als sehr informativ über die Machbarkeit von AGI wahrnehmen. – Das Ergebnis, das zählt, ist AGI, nicht ob es vorher einen KI-Winter gibt oder nicht. Die Wahrnehmungen der meisten Menschen (und der politischen Entscheidungsträger) sind wichtig. Ein KI-Winter (und der daraus resultierende Platzen der Investitionsblase) könnte eine Zeit schaffen, in der jede Diskussion über die Risiken und Vorteile zukünftiger fortschrittlicher KI völlig radioaktiv wird. Wenn der Kerntrend hin zu allgemeiner Intelligenz weitergeht, während wir in der Politik keinen Fortschritt machen, haben wir weniger Zeit, um die Entwicklung von KI positiv zu gestalten [ Stellen Sie sich dieses pessimistische Szenario vor: Das Jahr ist 2028. Dinge, die früher funktionierten, funktionieren nicht mehr. Das Skalieren von Vortrainings begann 2025, stark abnehmende Erträge zu liefern. Das Skalieren der Inferenz folgte dem Beispiel. Synthetische Daten funktionierten eine Weile, führten aber nur dazu, dass Modelle sich einem neuen Höchststand annäherten. Einige weitere Innovationen fanden statt, die LLMs intelligenter und nützlicher machten. Aber sie sind immer noch nur LLMs, ziemlich brüchig und nicht wirklich gut darin, Jobs zu automatisieren, auch wenn sie beim Automatisieren von Schreibaufgaben okay sind. Agenten entwickeln sich langsamer als erwartet. Es stellte sich heraus, dass selbstüberwachtes Lernen aus Text ein besonders einfaches Trainingssignal war, das zu erzeugen war. Selbstüberwachtes Lernen in der Computernutzung und RL sind viel schwieriger richtig einzurichten. Die Leute machen riesige Simulationen und trainieren Agenten darin, aber diese generalisieren relativ schlecht. Die Leute zeigen auf Dinge wie KI 2027 und sehen eine solche Kluft zwischen "Erwartung" und Realität, dass sie sagen, es war alles Hype. Die KI-Labore können keine riesigen Trainingsläufe mehr rechtfertigen; die Rechenleistung wird einfach für immer kleinerer marginaler Verbesserungen verschwendet. Vielleicht hatten wir ein paar Durchbrüche in Bezug auf Kontextlänge und kontinuierliches Lernen, aber das reicht nicht aus. Die Investitionen in KI sinken. Also fällt auch F&E. Über die Zukunft der KI zu sprechen, wird radioaktiv. Jede Spekulation über zukünftige Fähigkeiten wird von "Realisten" ertränkt, die auf die letzten Jahre enttäuschenden Fortschritts hinweisen. In diesem Szenario würde es 2028 für viele (die meisten?) wie das Ende der Geschichte aussehen. KI ist gut, aber sie sollte nur so gut sein. Und das war's. Das bedeutet kein AGI, keine transformativen Auswirkungen, kein goldenes Zeitalter des Fortschritts und natürlich keine Risiken, die schlimmer sind als Deepfakes. Aber wie lange würde ein KI-Winter dauern? Es ist möglich, dass er für immer dauert oder zumindest ein paar Jahrzehnte. Gegen die Wahrscheinlichkeiten, die sich aus den Trends des frühen 20. Jahrhunderts ableiten, könnten wir auf eine fundamentale Grenze stoßen. Die Experten informieren uns, dass die Gehirn-GPU-Analogie zu grob war — was wir alle bereits wussten — aber es stellt sich heraus, dass die Unterschiede wichtig sind, um von einem Textvorhersager zu einem allgemeinen Agenten zu gelangen. Oder wir benötigten Quantenprozesse im Gehirn, um einen bewussten Fokus der Aufmerksamkeit zu erzeugen, was — wie sich herausstellt — notwendig war, um die höchsten Funktionen zu erreichen. Oder es waren nicht die Quantenprozesse an sich, sondern die hochgradig vernetzte "Hardware", die das Gehirn bereitstellt, die in der überwiegend parallelen Verarbeitung, die die GPUs durchführen, simuliert werden kann. Aber es stellt sich wieder heraus, dass diese Simulationen nicht ausreichen und wir tatsächlich neuromorphe Chips benötigen, um fähige Agenten zu schaffen, und diese werden in den nächsten fünf Jahrzehnten nicht verfügbar sein. Man muss nicht denken, dass eine dieser speziellen Fehlgeschichten plausibel ist, um zu glauben, dass wir möglicherweise eine Zutat im AGI-Rezept vermissen, und die Zutat könnte in diesem Jahrhundert schwer oder unmöglich zu bekommen sein, so wie es in jedem einzelnen Jahrhundert zuvor der Fall war. Der KI-Winter könnte jedoch auch kurz sein. Wir sind bereits an einen sprunghaften Anstieg der Fähigkeiten gewöhnt, bei dem wir zwischen großen Trainingsläufen nur wenige beeindruckende Updates erhalten. Wenn ein paar Trainingsläufe nicht wie erwartet verlaufen, bedeutet das nur, dass wir in einem viel längeren Plateau feststecken, während die Zutaten für den nächsten Schrittwechsel sich ansammeln und den notwendigen Schwellenwert erreichen. Dennoch könnte eine längere als erwartete Phase enttäuschenden Fortschritts viele der gleichen Prozesse eines längeren Winters auslösen. "Skalierungsgesetze" sind eine empirische Beobachtung, kein inhärentes Faktum über die Welt. Die Trends können absolut enden oder sich erheblich verlangsamen. Weil die meisten Menschen — und insbesondere die meisten "Außenseiter", die den Fortschritt der KI nicht verfolgen — dazu neigen, die Bedeutung dieser Trends zu unterschätzen, werden die Menschen, die an KI arbeiten, manchmal negativ polarisiert und werden zu absolutistisch (hier satirisch) [ über die Vorhersagekraft von Skalierungsgesetzen. Ja, wir könnten uns in einer weiteren Moore's Law [Situation mit KI-Fähigkeiten befinden. Aber viele anscheinend stabile Trends hören im Laufe der Zeit auf — wir erinnern uns an Moore's Law genau, weil es außergewöhnlich ist. Schließlich könnte es überhaupt keinen KI-Winter geben. Wir könnten eine stetig verbessernde Grenze der KI erhalten, trotz der regelmäßigen "Ängste", wann immer die KI scheint, gegen eine Wand zu stoßen, kurz bevor sie hindurchbricht. Oder wir könnten eine verbessernde Grenze erhalten, während ein großer Teil der "Blase" für Wrapper-Unternehmen und kleinere KI-Startups platzt. Die Quintessenz ist: Es gibt einen zugrunde liegenden Kerntrend [ hin zu immer allgemeinerer Intelligenz. Und dieser Trend ist wichtig. Nicht ob LLMs uns dorthin bringen werden oder ob wir dorthin kommen werden, mit oder ohne einen vorübergehenden KI-Winter dazwischen. Unsere Gehirne sind der Beweis, dass allgemeine Denker erreichbar sind, und die heutigen KI-Systeme sind der Beweis, dass unser Denken nützlich approximiert werden kann (ob es sich nun um "echtes Denken" handelt oder nicht) in hochkomplexen Bereichen. Es ist möglich, dass einige der pessimistischsten Vorhersagen, die ich oben skizziert habe, korrekt sind, wie das Erreichen fundamentaler Grenzen der Maschinenintelligenz. Aber der Druckkochtopf exponentiell steigender Rechenleistung, Trainingsdaten und Tausender von Genies, die an neuen Algorithmen arbeiten, scheint letztendlich zu fortschrittlicher Intelligenz zu führen. Und wenn wir das richtig hinbekommen wollen, sollten wir uns besser darauf konzentrieren, anstatt auf Ergebnisse, die lediglich mit ihm korrelieren. Es macht Sinn, viel Mühe und Gedanken in die Ergebnisse zu stecken, bei denen wir schnell transformative KI erhalten. Aber wähle keine irrelevanten Hügel, auf denen man sterben kann [ Apropos, was passiert, wenn die Blase platzt? Scheitert Anthropic, zusammen mit anderen KI-Laboren, die kein diversifiziertes Einkommen wie Google DeepMind oder Meta haben? Wohin gehen die XAI-Mitarbeiter, wenn es einen großen Exodus gibt? Würden zumindest einige der Grenzlabore in der Lage sein, die Grenze weiter zu verschieben, auch wenn viele der kleineren Startups und Investitionen pleitegehen? Wir sollten besser versuchen, es herauszufinden, genau wie wir versuchen herauszufinden, was zu tun ist, wenn wir davon ausgehen, dass die Trends anhalten. Wenn Sie Ideen haben, meine DMs sind offen.