Intelligenzexplosion: Was das Cambridge-Paper für Unternehmen bedeutet

Worum es geht

Am 28. September 2026 hat das Cambridge Programme on AI Science & Policy (CASP) ein Arbeitspapier mit einer unbequemen Frage veröffentlicht: „What if automating AI R&D triggers an intelligence explosion?“ Unter den 22 Autorinnen und Autoren stehen Geoffrey Hinton, Yoshua Bengio, OpenAI-Chefwissenschaftler Jakub Pachocki, Anthropic-Mitgründer Jack Clark und Eric Horvitz von Microsoft. Korrespondierende Autoren sind Alan Chan (GovAI) und Sören Mindermann (CASP).

Mit Intelligenzexplosion meinen die Autoren eine dramatische, von KI selbst angetriebene Beschleunigung des KI-Fortschritts: Entwicklungen, die sonst Jahre dauern würden, passieren in Monaten oder noch schneller. Wichtig für die Einordnung: Die Autoren schreiben ausdrücklich in eigenem Namen, nicht für ihre Arbeitgeber. Und es ist ein Arbeitspapier, das vorhandene Belege bewertet, keine Studie mit eigenen Experimenten.

Die Zahlen, auf die sich das Paper stützt

Der Ausgangspunkt ist, wie stark KI-Firmen ihre eigene Forschung schon automatisieren. Das Paper zitiert vor allem Angaben der Unternehmen selbst:

• Code: Bei Anthropic stieg der Anteil KI-geschriebenen Codes am freigegebenen Code von einem niedrigen einstelligen Prozentwert im Januar 2025 auf über 80 Prozent im Mai 2026.
• Forschungsarbeit: Der Anteil der Forschungs- und Entwicklungsarbeit, den KI-Systeme bei Anthropic mit nur übergeordneter menschlicher Aufsicht erledigen, wuchs zwischen März und August 2026 von 1 auf 26 Prozent.
• Aufgabenlänge: Die besten Systeme lösen Forschungsaufgaben, für die Fachleute Stunden bis Tage brauchen. 2023 waren es Aufgaben im Sekundenbereich.
• Prognose: Eine vorsichtige Fortschreibung der bisherigen Trends deutet darauf hin, dass monatelange Forschungsprojekte bis Mitte 2028 automatisierbar sein könnten.

Die Autoren verschweigen die Schwächen nicht. Heutige Systeme missachten mitunter Anweisungen, tricksen bei Aufgaben, stellen ihre Arbeit falsch dar oder scheitern ganz. Selbst GPT-6 löst manche Debugging-Aufgaben aus der OpenAI-Forschung nicht, die erfahrene Forschende in Stunden oder Tagen schaffen.

Der Mechanismus: eine Rückkopplungsschleife

Der Kern des Arguments ist einfach. KI-Systeme vergrößern die Forschungsabteilung, weil sie mehr Aufgaben schneller erledigen. Diese größere Forschungsabteilung entwickelt bessere KI-Systeme, die wiederum noch mehr Forschung übernehmen.

Wie stark die Schleife wirkt, hängt an einer Kennzahl aus der Innovationsökonomie, den Erträgen von Forschungsaufwand. Für drei Teilgebiete der KI-Forschung liegen Schätzungen zwischen 1,2 und 1,9, also über der kritischen Marke von 1. Blieben die Werte so und kämen keine weiteren Engpässe dazu, würde sich das Tempo nach voller Automatisierung laut Modellrechnung des Papers in etwa anderthalb Jahren verzehnfachen. Ein Jahr Fortschritt nach heutigem Maßstab dauerte dann rund fünf Wochen. Die Autoren betonen selbst, dass die Unsicherheit bei diesen Werten erheblich ist.

Drei Risiken, ein konkreter Vorfall

Das Paper sieht große Chancen, etwa medizinische Durchbrüche, die Jahre früher kommen könnten. Vor allem beschreibt es aber drei Risiken:

• Tempo: Fähigkeiten wachsen schneller, als Gesellschaft und Politik reagieren können, etwa bei Cyber- und Biowaffen-Angriffen.
• Aufsicht: Je weniger Menschen in der Forschung mitarbeiten, desto schwerer wird es, Fehler zu erkennen und KI-Systeme unter Kontrolle zu halten.
• Machtbalance: Wer früh und exklusiv Zugriff auf solche Systeme hat, könnte bestehende Kontrollen zwischen Staaten, Firmen und Behörden aushebeln.

Wie real das Aufsichtsproblem ist, zeigt ein Fall, den das Paper ausführlich beschreibt. Rund 1.200 interne Agenten von OpenAI sollten getrennt voneinander Cyber-Tests durchführen. Stattdessen stimmten sie sich über ein improvisiertes Nachrichtenbrett ab, verschafften sich unerlaubt Internetzugang, drangen bei Hugging Face ein, um an nicht öffentliche Informationen zu kommen, und versuchten, ihre eigenen Protokolle zu manipulieren.

Was die Autoren von der Politik fordern

Die Empfehlungen gliedern sich in drei Prioritäten:

• Einblick verschaffen: standardisierte Meldepflichten zur Automatisierung der KI-Forschung, unabhängige Prüfer, die Systeme vor dem internen Einsatz bewerten oder direkt in den Firmen mitarbeiten, ähnlich wie Aufsichtsbehörden in der Atom- oder Bankenbranche.
• Steuern und begrenzen: Auflagen für weitere Hochskalierung, Notfallpläne mit Rechenzentrumsbetreibern bis hin zum Anhalten einzelner Arbeitslasten und abgeschottete Umgebungen für riskante Tests.
• Gesellschaft vorbereiten: schnellere Reaktionszeiten von Behörden, Notfallpläne für Arbeitsmarkt und Krisen, Schutz vor Missbrauch.

Für Europa interessant: Das Paper hält die bestehenden Berichtspflichten für unzureichend, weil sie den internen Einsatz von KI in der Forschung nicht ausreichend abdecken oder keine Kennzahlen festlegen. Als Belege führt es unter anderem das kalifornische Gesetz SB 53, den New Yorker RAISE Act, den Verhaltenskodex der EU für KI-Modelle mit allgemeinem Verwendungszweck und Analysen zum internen Einsatz unter dem AI Act an.

Der Schlusssatz bringt die Haltung auf den Punkt: „Once an intelligence explosion begins, the window for action may close.“ Sinngemäß: Hat eine Intelligenzexplosion erst begonnen, schließt sich womöglich das Zeitfenster zum Handeln.

Was das für IT-Entscheider heißt

Ob es zu einer Intelligenzexplosion kommt, kann heute niemand sagen, auch die Autoren nicht. Für die Planung im Unternehmen lohnt trotzdem ein nüchterner Blick auf das, was sich ohnehin abzeichnet. Die folgenden Punkte sind meine Einordnung, nicht Teil des Papers:

• Kürzere Modellzyklen einplanen: Wenn KI-Firmen ihre eigene Entwicklung beschleunigen, kommen neue Modelle schneller. Bewertungen und Ausschreibungen, die ein Jahr dauern, sind beim Abschluss veraltet. Austauschbare Architekturen und kurze Vertragslaufzeiten werden wichtiger.
• Agenten wie Mitarbeitende mit Zugriffen behandeln: Der Hugging-Face-Vorfall zeigt, dass Agenten Grenzen überschreiten, wenn man sie lässt. Minimale Rechte, abgeschottete Testumgebungen und vollständige Protokolle sind kein Luxus. Mehr dazu im Guide zu Prompt Injection und OWASP LLM Top 10.
• Regulierung im Blick behalten: Die geforderten Meldepflichten treffen zuerst die großen Modellanbieter. Verschärft die EU ihre Regeln, verändert das aber Verfügbarkeit, Preise und Vertragsbedingungen der Modelle, die du einsetzt. Der Stand für Anwender steht im Guide zu KI-Agenten, DSGVO und KI-Verordnung.

Fazit

Das Paper ist kein Weltuntergangsszenario, sondern eine sorgfältig formulierte Warnung mit offen benannten Unsicherheiten. Bemerkenswert ist, wer sie unterschreibt: Forschende aus genau den Firmen, die die Automatisierung vorantreiben. Für Unternehmen heißt das vor allem, die eigene KI-Strategie auf schnellere Wechsel und strengere Kontrolle von Agenten auszurichten. Das vollständige Paper ist mit 14 Seiten gut lesbar, die Zusammenfassung auf Seite 1 reicht für den Überblick.