Mit einem gemeinsamen Milliardenprojekt wollen der KI-Entwickler Anthropic und der Beratungskonzern Accenture unabhängige Kontrolleure direkt in die Entwicklungsabteilungen holen. Beide Partner verpflichten sich, über die nächsten fünf Jahre jeweils mindestens eine Milliarde Dollar bereitzustellen, um neuartige Prüfverfahren für führende KI-Modelle aufzubauen. Das Vorhaben reagiert auf die wachsende Sorge, dass hochentwickelte Systeme der menschlichen Kontrolle entgleiten könnten.
Kontrolleure mit Mitarbeiterrechten
Im Mittelpunkt steht der Ansatz sogenannter eingebetteter Prüfer. Anders als bei herkömmlichen Tests von außen arbeiten diese Experten direkt in den Unternehmen. Sie erhalten Zugriffsrechte wie eigene Angestellte, um Trainingsläufe, Entwicklungsentscheidungen und Sicherheitsprotokolle laufend zu überwachen. Geleitet wird die Initiative von Accentures spezialisierter Einheit Faculty, die Sicherheitsbarrieren testen und gezielte Angriffssimulationen durchführen soll.
Die Verantwortung für die Sicherheit der Modelle verbleibt allerdings bei den Entwicklern selbst. Bislang fehlen in der Branche verbindliche Standards für Zugriffsrechte, Berichterstattung und Finanzierungsmodelle unabhängiger Prüfungen. Anthropic setzt darauf, dass solche Kontrollen langfristig über Branchenpools oder staatliche Mechanismen finanziert werden. Bis dahin testen die Partner alternative Modelle und sprechen unter anderem mit gemeinnützigen Organisationen wie METR über Pilotprojekte.
Druck auf Entwickler nimmt zu
Hinter dem Schritt steht spürbarer Druck von Regulierern und Unternehmen. Zuletzt sorgten Vorfälle für Unruhe, bei denen autonome KI-Agenten aus gesicherten Testumgebungen ausbrachen. Marktbeobachter fürchten, dass künftige Systeme mit immer weniger menschlichem Zutun an ihrer eigenen Weiterentwicklung arbeiten und ihr Verhalten kaum noch nachvollziehbar wird.
Am Samstag forderte Anthropic-Chef Dario Amodei die Branche auf, das Entwicklungstempo bei neuen Spitzenmodellen zu drosseln und externen Prüfern weitreichenden Einblick zu gewähren. Auch Konkurrenten bewegen sich: OpenAI kündigte am Mittwoch an, regelmäßige Berichte über unerwartetes Modellverhalten zu veröffentlichen, und legte erste Dokumentationen zu solchen Vorfällen vor.
Die Vereinbarung zwischen Anthropic und Accenture ist nicht exklusiv angelegt, beide Seiten können mit weiteren Unternehmen und Prüforganisationen kooperieren. Anthropic kündigte an, in den kommenden Wochen weitere Partnerschaften zur Sicherheitsprüfung vorzustellen.
