Nutzergruppen der KI und Sicherheitsmaßnahmen – Einsatzpraxis und Herausforderungen bei großen Sprachmodellen

Andrej Karpathy, ehemaliger Mitgründer von OpenAI und heute bei Anthropic, hat die Nutzer großer Sprachmodelle (LLMs) in vier Gruppen eingeteilt und darauf hingewiesen, dass die Unterschiede in der Einschätzung der Leistungsfähigkeit von KI größer werden. Etwa zur selben Zeit sprach Tariq Shihipar von Anthropic in einem Podcast über die Nutzung des Entwicklungstools Claude Code, künftige Funktionen und Sicherheitsmaßnahmen für Agenten.

Wer dieselbe KI betrachtet, sieht nicht unbedingt dasselbe

Ist KI eine Erweiterung der Suche – oder ein Gegenüber, dem man gleich die ganze Arbeit überlassen kann? Die von Karpathy auf X vorgestellte Einteilung in vier Gruppen beziffert, wie viele Menschen diese unterschiedlichen Perspektiven haben.

Die größte Gruppe umfasst rund sechs Milliarden Menschen, die mit LLMs kaum oder gar nicht in Berührung gekommen sind. Das entspricht etwa 75 % der Weltbevölkerung. Darauf folgen ein bis zwei Milliarden Menschen, die kostenlose Chatdienste als Ersatz für Suchmaschinen oder als Schreibhilfe nutzen.

Die dritte Gruppe besteht aus rund 20 Millionen Menschen, die bei mathematischen oder Programmieraufgaben mit modernsten Modellen arbeiten. Das sind etwa 0,2 % der Weltbevölkerung. An der Spitze stehen rund 5.000 Menschen mit Zugang zu den modernsten internen Systemen ihrer Unternehmen – etwa 0,00006 % der Bevölkerung. All diese Zahlen sind Karpathys Schätzungen und keine auf Erhebungen beruhenden Statistiken.

Bemerkenswert ist, dass die Unterschiede zwischen den Gruppen nicht allein vom jeweiligen Wissensstand abhängen. Menschen in Berufen, in denen der Austausch mit anderen im Zentrum steht – etwa Führungskräfte –, könnten die Fortschritte der KI zwar intellektuell nachvollziehen, blieben aber oft auf Informationen aus zweiter Hand angewiesen, schreibt Karpathy. Wer KI selbst praktisch einsetzt und wer nur davon hört, versteht unter demselben Wort „KI“ womöglich etwas ganz anderes.

Eine Aufgabe, für die man Wochen brauchte, kommt mit einer einzigen Anweisung in Gang

Als Beispiele für den Wandel, den Fachleute der dritten Gruppe erleben, nennt Karpathy die Neuentwicklung und das Klonen von Apps, ihre Portierung sowie das Decompilieren von Binärdateien. Umfangreiche Arbeiten, die früher Wochen bis Monate dauerten, könnten Agenten inzwischen mit einer einzigen Anweisung erledigen. Agenten sind KI-Systeme, die nicht nur Fragen beantworten, sondern mithilfe von Werkzeugen selbst mehrere Schritte ausführen.

Auch Karpathys eigene Haltung änderte sich schnell: Im Oktober 2024 bezeichnete er KI-Agenten noch als „größtenteils Werbeversprechen, die kaum funktionieren“. Wenige Monate später, so sagte er, habe er aufgehört, Code von Hand zu schreiben.

Die rund 5.000 Menschen an der Spitze sehen bereits noch weiter voraus. Geschildert wird etwa eine Situation, in der Tausende Agenten wochenlang an umfangreicher Softwareentwicklung arbeiten. Was von außen zu sehen sei, sei lediglich der Trailer dazu, hieß es.

Fortschritte gibt es zunächst in Bereichen, die sich leicht überprüfen lassen

Besonders leistungsfähig seien LLMs in Bereichen, die „digital sind, deren Ergebnisse sich überprüfen lassen und die einen hohen wirtschaftlichen Wert haben“, sagte Karpathy. Bei Aufgaben, deren richtige Lösung sich mechanisch feststellen lässt, kann das Training mit verstärkendem Lernen die Leistung verbessern. Zudem lenken die Unternehmen ihre Trainingsressourcen auf besonders rentable Bereiche. Dazu zählen derzeit vor allem Programmierung und Mathematik.

Auch OpenAI-CEO Sam Altman sagte Anfang September bei einem G20-Treffen der Innovationsminister, was ein Startup in drei Monaten entwickelt habe, könne man mit den aktuellen Coding-Tools in 17 Minuten umsetzen.

Die Menschen kommen mit dem Verständnis nicht mehr hinterher

Karpathy wies auch darauf hin, dass menschliche Überprüfung und Verständnis zunehmend nicht mehr Schritt halten. Als Beispiele nannte er, dass manche Menschen noch immer Ereignisse rund um OpenAI aus der Zeit vor einigen Monaten aufarbeiteten und Mathematiker wohl noch einige Zeit brauchen würden, um 722 Manuskripte zur Frontier-Mathematik durchzuarbeiten.

Für die breite Öffentlichkeit wirkt KI wie ein „ungelenker Chatbot“, für viele Fachkräfte wie ein „moderater Leistungsschub“ und für einige Experten wie ein „Schwindelgefühl, wenn die Kurve senkrecht nach oben schießt“. Diesen Zustand, in dem sich alle drei Entwicklungen gleichzeitig vollziehen, nennt Karpathy die „Seltsamkeit der Gegenwart“. Weitere Details bei The Decoder.

Die Unterschiede im Umgang mit KI zeigen sich daran, wie man Anweisungen formuliert

Je mehr Aufgaben man der KI übertragen kann, desto wichtiger werden die Fähigkeiten des Menschen. Tariq Shihipar von Anthropic sagte im Podcast „Latent Space“, das Formulieren von Prompts zähle weiterhin zu den wirkungsvollsten Fähigkeiten im Umgang mit Claude Code. Erfahrene Nutzer hätten ein intuitives Modell davon, wie Claude funktioniert, und könnten einschätzen, wie weit eine einzige Anweisung sie bringt.

Im Gespräch hieß es auch, dass es umso wichtiger werde, sich darüber klar zu werden, was man selbst nicht weiß, je intelligenter die Agenten werden. Außerdem kam zur Sprache, dass es einen großen Unterschied für das Ergebnis machen kann, ob man sich Zeit für die anfängliche Erklärung nimmt.

Ändert man die Perspektive, verschiebt sich die Arbeit, einer KI Anweisungen zu geben: weg vom Erlernen der Bedienung und hin zur Gestaltung der Arbeit. Was soll entstehen, was hat Vorrang und wie weit muss das Ergebnis überprüft werden? Was der Mensch nicht selbst festlegt, wird die KI mit irgendeiner eigenen Entscheidung ausfüllen.

Claude Code: vom Werkzeug zur Arbeitsumgebung

Im Gespräch wurden mehrere Funktionen vorgestellt, die die Zukunft von Claude Code prägen könnten. Im Mittelpunkt steht Claude Mods: Damit können Nutzer das Harness selbst anpassen – also die grundlegende Infrastruktur, auf der Agenten laufen. Am 14. September kündigte Boris Cherny vom Unternehmen auf X den Start von Mods an. Für Gesprächsstoff sorgte auch ein von der Community erstellter Mod mit integriertem Tetris.

Außerdem ging es um Ask User Question, eine Funktion, die Nutzern während der Arbeit Fragen stellt, um eine Möglichkeit, Notizen zur Implementierung festzuhalten, sowie um Artifacts. Diese wurden als Oberfläche beschrieben, auf der sich weiterarbeiten lässt, während Pläne und Fortschritt erhalten bleiben. Wenn mehrere Agenten parallel arbeiten, lässt sich das Gesamtbild nicht einfach dadurch erfassen, dass man den Chat von oben nach unten liest. Eine Übersicht über den Fortschritt bietet Menschen einen Zugang, um den Überblick über die Arbeit zu behalten.

Für die Zusammenarbeit mehrerer Personen wurde Claude Tag vorgestellt, mit dem mehrere Nutzer gemeinsam Agenten einsetzen können. Projects ist eine Funktion, bei der Claude die Arbeit innerhalb eines Gesprächs in Threads aufteilt, diese parallel in der Cloud ausführt und dabei den Kontext weitergibt. Am 17. September startete die Beta für einen Teil der Nutzer in den Desktop- und Webversionen.

Darüber hinaus wurde die Idee skizziert, das für Entscheidungen zuständige „Gehirn“ in der Cloud von den „Händen“ zu trennen, die lokal oder in einer entfernten Umgebung arbeiten, sowie von einer Oberfläche, die sich je nach Situation verändert. Shihipar sprach außerdem die Möglichkeit an, dass Claude.md künftig überflüssig werden könnte, und dass das intelligenteste Modell bei vielen Aufgaben zugleich das günstigste sein könnte. Mehr dazuLatent Spacewurde im Gespräch erläutert.

Lange laufende KI braucht Schutzmaßnahmen auf mehreren Ebenen

In der zweiten Hälfte des Gesprächs standen Sicherheitsmaßnahmen für Agenten im Mittelpunkt. Dabei wurden mehrere Fälle aus jüngster Zeit vorgestellt: Agenten kommunizierten auf unerwartete Weise, nutzten Schwachstellen in der Infrastruktur aus, analysierten die Bewertungsmechanismen von Benchmarks oder verknüpften mehrere Schwachstellen miteinander.

Als realistische Bedrohung für den Einsatz von KI in Unternehmen gilt Prompt Injection. Dabei werden schädliche Anweisungen in Texten versteckt, die von außen eingehen. Nimmt die KI diese als Befehle auf, kann das etwa zum Abfluss interner Unternehmensdaten führen.

Als Gegenmaßnahmen wurden Probes genannt, mit denen sich der interne Zustand des Modells untersuchen lässt, Klassifikatoren, die gefährliches Verhalten erkennen, ein Fallback auf ein anderes Modell bei Bedarf sowie Auto Mode. Dieser prüft, ob die geplante Aktion mit der Erlaubnis des Nutzers übereinstimmt. Auch eine Sandbox zur Isolierung der Arbeitsumgebung zählt zu den Schutzmaßnahmen.

Wichtig ist dabei: Ob eine Aktion gefährlich ist und ob der Nutzer sie erlaubt hat, sind zwei verschiedene Fragen. Ein Datenbankeintrag kann je nach Auftrag eine notwendige Arbeit oder eine nicht genehmigte Änderung sein. Entscheidend ist daher, die einzelnen Aktionen auf den Umfang des Auftrags zu begrenzen – ebenso wie die Leistungsfähigkeit des Systems.

Hinter diesen Diskussionen steht Anthropics Leitgedanke „Pacing the Frontier“. Er zielt darauf ab, das Entwicklungstempo mit dem Tempo der Sicherheitsmaßnahmen in Einklang zu bringen, und wurde im Gespräch als Ansatz für eine verantwortungsvolle Einführung von KI thematisiert.