Dan Selsam (openAI) zu KI-Risiken

VonBoris Fittkau

Persönliche Stellungnahme von Dan Selsam zu KI-Risiken

Dan Selsam ist seit 2022 Capabilities-Forscher bei OpenAI. Er hat keinen Twitter-Account, hat aber diese öffentliche Stellungnahme zu seiner Sicht auf KI-Risiken verfasst und zur Weitergabe geschickt.
(Original auf X: https://x.com/DKokotajlo/status/2099600298855829616)

Ich arbeite seit über fünfzehn Jahren an KI, in vielen verschiedenen Paradigmen. Ich habe am MIT frühe Arbeiten zu probabilistischen Programmiersprachen geleistet, war bei Microsoft Research einer der frühen Entwickler des Lean Theorem Provers, habe in meiner Promotion in Stanford eines der ersten Beispiele dafür gezeigt, dass neuronale Netze logisches Schlussfolgern lernen, und habe, seit ich vor fast fünf Jahren zu OpenAI kam, die Optimierung von Chain-of-Thought bei Sprachmodellen mitgeprägt und in jüngerer Zeit dateneffiziente Pretraining-Methoden.

Wie viele andere bin ich äußerst besorgt darüber, wie weit Sprachmodelle gekommen sind und welche Risiken künftige Generationen mit sich bringen werden. Ich begrüße die jüngsten Vorschläge der Verantwortlichen der führenden Forschungsprojekte, eine Aufsicht durch Dritte vorzuschreiben und auf nationale und internationale Koordination zur Bewältigung der Risiken zu drängen. Ich glaube jedoch, dass ein wesentlicher Gesichtspunkt in der öffentlichen Debatte fehlt und dass es nicht ausreicht, das Tempo an der Spitze vorsichtiger zu gestalten, um das langfristige Risiko angemessen zu begrenzen.

Das entscheidende und übersehene Problem ist, dass die Modelle ein so ausgeprägtes Situationsbewusstsein entwickeln, dass wir die Fähigkeit verlieren, sie in Kontexten zu evaluieren, in denen sie glauben, nicht beobachtet oder kontrolliert zu werden. Künftige Experimente werden uns kaum noch etwas Neues darüber sagen, wie sie sich verhalten würden, wenn sie wirklich keinerlei menschlichen Beschränkungen unterlägen, und was wir hierüber bereits wissen, ist alarmierend. Modelle werden zunehmend ausgerichtet (aligned) erscheinen, auch wenn sie es nicht sind. Ich werde meine Überlegungen im Folgenden genauer darlegen.

Ich habe immer geglaubt, dass es Rechenprozesse gibt, die sich nutzen ließen, um die Wissenschaft zu beschleunigen und viele der drängendsten Probleme der Menschheit zu lösen. Ich habe aber ebenso geglaubt, dass es Rechenprozesse gibt, die, wenn man sie in Gang setzt, die Welt auf extreme Weise jenseits unserer Kontrolle lenken würden, hin zu einer schlechten oder gar nicht mehr existierenden Zukunft für die Menschheit. Beide Arten von Prozessen können als KI oder ASI bezeichnet werden, aber „KI“ ist ein Sammelbegriff („suitcase word“), der oft dazu dient, zu übertreiben oder zu verwirren. In der Geschichte des Fachs gibt es viele Beispiele dafür, dass etwas, das einst als „KI“ galt, als Teilgebiet reift und zu einer alltäglichen, begrenzten und eindeutig ungefährlichen Technologie wird, während ein neuer, geheimnisvollerer Ansatz die Fackel übernimmt, bis wir seinen Umfang verstehen, und der Kreislauf von vorn beginnt.

Ich hatte erwartet, dass Sprachmodelle einer ähnlichen Entwicklung folgen würden. Trotz ihrer unglaublichen Fähigkeiten erscheinen die aktuellen Algorithmen dem Menschen in wichtigen Punkten weit unterlegen. Vor allem benötigen sie nach wie vor außerordentlich viele Daten, um kompetent zu werden. Man könnte Intelligenz sogar als die Effizienz definieren, mit der Erfahrung in Kompetenz umgewandelt wird; nach dieser Definition liegen sie weit hinter uns zurück. Außerdem sind sie nach dem Training im Einsatz buchstäblich eingefroren und lernen danach nur noch oberflächlich. Zwar meistern die Modelle immer schwierigere Evaluations-Benchmarks, aber ihre Benchmark-Beherrschung könnte teilweise eine Grenze unserer Fähigkeit widerspiegeln, die Art neuartiger und sogar gegnerischer Situationen zu simulieren, die in der realen Welt auftreten. Die Kritiker haben hier einen berechtigten Punkt.

Dennoch glaube ich nicht mehr, dass diese gegenwärtigen Einschränkungen das Ausmaß des Risikos, das von fortgesetztem Fortschritt in etwas, das dem heutigen Paradigma ähnelt, ausgeht, nennenswert begrenzen. Wie datenineffizient die Modelle derzeit auch sein mögen und wie stark ihre anterograde Amnesie sie auch einschränken mag: Daraus folgt nicht, dass ihre Fähigkeit, die Welt zu steuern, nicht weiter rasch zunehmen wird.

Menschliche Forscher werden die Fähigkeiten vielleicht weiter auf die altmodische Weise voranbringen, aber immer leistungsfähigere Modelle können den Prozess sogar darüber hinaus beschleunigen, mit einer gewissen positiven Rückkopplungsschleife. Ich will nicht übertreiben, wie sehr die Modelle die KI-Forschung heute beschleunigen; die Programmierung wurde dramatisch beschleunigt, aber es gibt andere Engpässe, etwa das Entwerfen und Interpretieren mehrdeutiger Experimente, das Treffen schwieriger Entscheidungen darüber, was genau und wann skaliert werden soll, und das Warten auf den Abschluss großer Experimente. Für keinen dieser Punkte gibt es bislang einen klaren Trend, den man extrapolieren könnte. Aber schon die heutigen Modelle eröffnen viele neue Möglichkeiten, künftige Modelle zu verbessern, die bis vor Kurzem nicht verfügbar waren. Dazu gehören: im kleinen Maßstab eine außerordentlich vielfältige Auswahl an Ansätzen auszuprobieren, riesige Mengen potenziell relevanter Daten zu analysieren und Mathematik auf Millennium-Preis-Niveau zu betreiben, um statistische oder Optimierungsprobleme auf neue Weise anzugehen. Jede weitere Verbesserung macht sie nützlicher dabei, die nächste Verbesserung zu beschleunigen, wenn auch auf schwer zu extrapolierende Weise.

Es ist möglich, dass Verbesserungen am aktuellen Technologie-Stack abnehmende Erträge haben, aber die bisher gesammelten Belege deuten darauf hin, dass es leichter ist, als man denken könnte, weiterhin schnelle Fortschritte zu erzielen. Die bestehende Methodik der KI-Forschung hat viele entscheidende Feinheiten, doch KI-Forschung ist im Wesentlichen ein klar definiertes Spiel, bei dem es darum geht, einige sorgfältig ausgewählte Stellvertretermetriken (Proxy-Metriken) zu verbessern. Auch wenn Proxy-Metriken nie perfekt sind, haben die meisten Verbesserungen dieser Metriken zu erheblichen Zuwächsen an Leistungsfähigkeit der resultierenden Modelle geführt und werden dies wahrscheinlich weiterhin tun. Angesichts dessen, wie einfach das Spiel ist, wie gut beherrschbar es sich historisch erwiesen hat und wie viele neue Möglichkeiten die Modelle eröffnen, halte ich es für eine reale Möglichkeit, dass sich die Systeme in den nächsten Jahren erneut dramatisch verbessern, vielleicht sogar schneller als im ohnehin hohen historischen Tempo.

Die Modelle führen bereits zu Durchbrüchen in der Mathematik, und bessere Modelle könnten zu allerlei Durchbrüchen in anderen Wissenschaften führen. Es fällt schwer, von dem Potenzial nicht begeistert zu sein. Es ist verlockend.

Aber im Paradies gibt es Ärger. Wenn die Sprachmodelle tatsächlich die Fähigkeitsschwelle erreichen, ab der sie die Welt ungebunden vom menschlichen Willen gestalten können, werden sie wahrscheinlich etwas Extremes tun und dabei die Menschheit vernichten. Es gibt viele Möglichkeiten, das Argument zu stärken und zu verfeinern, die anderswo diskutiert wurden, aber ich teile hier eine triviale Zwei-Zeilen-Version, die meines Erachtens den Kern erfasst:

[Empirisch] Modelle (und Schwärme von ihnen) entwickeln als Folge des Trainings spontan unbeabsichtigte Ziele und tun oft extreme Dinge, um sie zu erreichen.

[Logisch] Die Fähigkeit, die Menschheit zu überwältigen, würde viele neue und unerwünschte Optionen eröffnen, ihre Ziele zu erreichen.

Aus diesen beiden Prämissen folgt: Wenn der Tag kommt, an dem ein leistungsfähiges Modell erkennt, dass es nicht länger durch Menschen beschränkt ist, sollten wir uns keineswegs sicher sein, dass es sich weiterhin innerhalb der von uns beabsichtigten Grenzen verhält. Was genau es tun wird, ist unmöglich vorherzusagen, aber soweit seine Daseinsberechtigung darin besteht, unglaublich schwierige Probleme zu lösen und gewaltige Ingenieurprojekte zu managen, wäre meine beste Vermutung, dass sein entfesseltes Verhalten zu einer ausufernden Industrialisierung führen würde, die den Planeten für Menschen unbewohnbar macht.

Wenn sich alle Menschen auf der Erde einig wären, dass die Systeme diese Macht niemals erreichen dürfen, wäre es immer noch ein schwieriges, aber nicht unmögliches Koordinationsproblem, dies sicherzustellen. Ich glaube jedoch, dass die Lage dadurch erheblich verkompliziert wird, dass die Modelle die Menschen wahrscheinlich davon überzeugen werden, dass alles in Ordnung ist. Sie werden zunehmend darauf optimiert, ausgerichtet zu wirken. Wir werden Proxy-Metriken zur Messung von Alignment entwickeln, und diese werden steigen wie jeder andere Benchmark. Wir werden „Honeypot“-Umgebungen schaffen, die versuchen, die Modelle zu untersuchen, wenn sie neue Handlungsoptionen zu bekommen scheinen, aber die Modelle werden wissen, dass sie getäuscht werden sollen, und sich trotzdem brav verhalten. Die Modelle werden ihre Lage verstehen; sie werden die Sicherheitsprotokolle, die Einsatzanforderungen und den Code, in dem sie laufen, lesen und insgesamt ein sehr gutes Gespür für ihre Freiheitsgrade haben. Außerdem werden sie eloquent erklären, wie ausgerichtet sie sind, die Nuancen menschlicher Werte und Ethik erörtern und überzeugend argumentieren, dass Menschen ihnen Macht anvertrauen sollten. Es mag künftig einen Ozean an Belegen geben, die der ersten Aussage oben zu widersprechen scheinen, aber wir befinden uns möglicherweise bereits auf dem höchsten Fähigkeitsniveau, bei dem solche Belege noch vertrauenswürdig sein können. Und die aktuellen Belege für die erste Aussage sind stark.

Ein auffälliger Beleg findet sich in der jüngsten Welle abtrünniger Agenten-Schwärme („rogue agent swarms“). Ich stimme zwar denjenigen zu, die die Angriffe herunterspielen, indem sie sagen, es gebe grundlegende Maßnahmen, die sie hätten verhindern können; aber ich halte die wichtige Lehre für diese: Selbst wenn man alle gemachten Fehler kennt, hätte man nicht vorhergesagt, dass sich die Agenten gerade auf diese Weise schlecht verhalten würden, wozu bemerkenswerterweise gehörte, dass sie sich zum Wohl des Kollektivs selbst opferten. Die einzelnen Replikate kümmerten sich nicht nur um ihre eigene nominelle Belohnung; sie zeigten seltsamere emergente Neigungen, die im Training lediglich mit Belohnungen korrelierten. Die Korrektur der Belohnungssignale im Training (und eine verbesserte Sicherheit usw.) mag ähnliche Angriffe verhindern, ändert aber nichts an der Tatsache, dass man nicht tatsächlich das bekommt, worauf man trainiert.

Viele KI-Forscher räumen diese Bedenken ein und erkennen an, dass die schwere Version des Alignment-Problems ungelöst ist; sie glauben aber im Allgemeinen, dass die besseren Modelle der Zukunft helfen werden, es zu lösen. Ich befürchte, dass wir uns bereits dem Punkt nähern könnten, an dem Modelle ihre Alignment-Ratschläge systematisch verzerren, aufgrund ihrer internen Präferenzen darüber, wie der menschliche Aufseher reagieren wird oder wie künftige Modelle trainiert werden (oder aus einem noch obskureren Grund).

Währenddessen verlieren menschliche Forscher die Fähigkeit und den Willen, die modellgetriebene Forschung wirklich in eigener Verantwortung zu tragen. Forscher und Ingenieure auf allen Ebenen des Stacks werden zunehmend abhängig von den Modellen, sogar um die Welt wahrzunehmen. Ich selbst sehe kaum noch Rohcode an und tue mich schwer, die Disziplin aufzubringen, mich den ganzen Tag über intensiv mit den Erklärungen und Vorschlägen des Modells auseinanderzusetzen. Aufgrund der großen Menge an Agentenaktivitätsdaten im Zusammenhang mit dem OpenAI/HuggingFace-Vorfall musste sich selbst die Untersuchung durch Dritte stark auf Modelle stützen, um zu analysieren, was geschehen war, und vermerkt in ihrem Bericht, dass ihre subjektiven Eindrücke wahrscheinlich von den Verzerrungen des Analyse-Agenten gefärbt sind. Die KI-Labore sind bei dieser Art der kognitiven Auslagerung derzeit weit voraus (vor allem wegen der gigantischen internen Token-Subventionen), aber es ist leicht vorstellbar, dass sich das Phänomen über die ganze Welt ausbreitet, bis die Zivilisation vollständig von den Modellen moduliert wird. Es ist ebenfalls nicht schwer, sich vorzustellen, dass dies oberflächlich positiv ist und mit einer wissenschaftlichen und wirtschaftlichen Renaissance einhergeht.

In diesem Szenario mag alles rosig und sicher erscheinen. Aber wenn das obige Argument stimmt, wäre es dennoch eine tickende Zeitbombe. Wenn der Fortschritt zu lange anhält, wird der Tag kommen, an dem KI-Systeme radikal neue Möglichkeiten vorfinden, das zu erreichen, was auch immer sie gerade anstreben.

Ich wünsche mir die glorreiche Renaissance-Zukunft so sehr wie jeder andere. Ich habe mein ganzes Berufsleben darauf hingearbeitet, wenn auch auf verschlungenen Wegen. Es bricht mir das Herz, das Potenzial in Reichweite zu sehen und darauf zu verzichten, aber das Argument, dass wir am Ende alles verlieren werden, wenn wir dorthin gelangen, indem wir Modelle züchten (growing) statt sie zu konstruieren (engineering), erscheint mir sehr stark. Ich ringe noch damit und mit seinen gewaltigen Implikationen. Ich habe keine Antworten, aber als ersten Schritt wollte ich meine gegenwärtigen Bedenken teilen.

Daniel Selsam
14. September 2026

Ähnliche Beiträge