Wie Asana die Kosten für KI-Ausführungen auf ein Sechsundsiebzigstel senkte

Asana hat bekannt gegeben, dass das Unternehmen bei Tests einer KI zur Automatisierung von Browseraktionen mit StackAI die geschätzten Modellkosten im Vergleich zur bisherigen Produktionskonfiguration auf ein Sechsundsiebzigstel senkte und die Verarbeitungsgeschwindigkeit verfünffachte. In einer optimierten Konfiguration mit GPT‑6.1 Sol und verbessertem Management des Browserverlaufs dauerte ein Durchlauf durchschnittlich etwa vier Minuten und kostete 0,47 US-Dollar.

Die Kosten sanken nicht allein durch einen Modellwechsel auf ein Sechsundsiebzigstel

Wichtig ist bei diesen Zahlen, dass sie nicht die Leistung eines einzelnen Modells vergleichen, sondern das Ergebnis aus dem Zusammenspiel von Modell und Prozessablauf. Ein Browser-Agent ist eine KI, die Webseiten ausliest und Aufgaben wie das Sammeln von Informationen oder das Ausfüllen von Formularen erledigt. Asana bietet solche Automatisierungen über das übernommene Unternehmen StackAI an.

Im Test wurden für 32 Bücher aus einem öffentlich zugänglichen Demo-Katalog jeweils sechs Informationen gesammelt. Vier Modelle und mehrere Konfigurationen wurden insgesamt 144-mal getestet. Beim ursprünglich eingesetzten Modell B lagen die geschätzten Modellkosten pro Durchlauf bei mindestens 36,21 US-Dollar. Allein durch eine Überarbeitung des Prozessablaufs sanken sie auf 1,24 US-Dollar. In einer weiter optimierten Konfiguration mit GPT‑6.1 Sol lagen sie schließlich bei 0,47 US-Dollar.

Das bedeutet, dass sich die Kosten selbst mit Modell B auf rund ein Neunundzwanzigstel senken ließen. Hinter der Schlagzeile von einer Reduzierung auf ein Sechsundsiebzigstel steht also vor allem die Verbesserung des Prozessdesigns, noch bevor überhaupt ein Modell ausgewählt wurde.

Der Schlüssel zu den Einsparungen war der Browserverlauf, den die KI erhält

In der bisherigen Konfiguration wurden zwar feste Anweisungen und Ähnliches zwischengespeichert, nicht aber der sich ansammelnde Verlauf mit Seitentexten und Screenshots. Ein Cache ermöglicht es, bereits verarbeitete Eingaben wiederzuverwenden. Lässt sich der Verlauf nicht wiederverwenden, müssen frühere Informationen bei jedem Aufruf der KI erneut übermittelt werden – und verursachen entsprechend Kosten.

Zudem wurden fast bei jedem Schritt alte Bilder gelöscht und Texte gekürzt. Da sich der Verlauf ständig änderte, ließ sich durch das Einführen eines Caches allein kaum etwas erreichen. Zu viele Informationen zu löschen, kann außerdem dazu führen, dass bereits besuchte Seiten erneut aufgerufen werden müssen.

Daher wurde die Obergrenze für den gespeicherten Verlauf von 120.000 auf 480.000 Zeichen erhöht und der Browserverlauf in den Cache aufgenommen. Screenshots werden nun bis zu einer Zahl von 20 gesammelt; anschließend bleibt nur der neueste erhalten. Statt den Verlauf jedes Mal aufzuräumen, wird dies gebündelt erledigt. So lässt sich der gespeicherte Verlauf länger unverändert weiterverwenden.

Auch wenn mehr Informationen gespeichert werden, sinken die Kosten

Weniger Informationen an die KI zu übermitteln, senkt die Kosten. Die Ergebnisse zeigen, dass sich die Kosten für Agenten nicht allein mit dieser Annahme erklären lassen. Werden Informationen gespeichert und wiederverwendet, sodass unnötige erneute Prüfungen entfallen, kann das den gesamten Prozess günstiger machen.

Bei GPT‑6.1 Sol sanken die geschätzten Modellkosten pro Durchlauf von 1,97 auf 0,47 US-Dollar, nachdem bei einer höheren Obergrenze für den gespeicherten Verlauf der Cache und die Bildverwaltung überarbeitet worden waren. Nach der Optimierung stammten 89 % der Eingaben aus dem Cache. Die Kosten für diesen Anteil betrugen 5 % dessen, was ohne Cache angefallen wäre.

Auch die Menge des gespeicherten Verlaufs beeinflusste den erfolgreichen Abschluss der Aufgaben. Mit GPT‑6.1 Sol wurde bei einer niedrigeren Speichergrenze in drei von 18 Durchläufen eine Antwort generiert, bei einer höheren Grenze dagegen in allen 18. In der Prüfung waren alle 18 Antworten korrekt.

Auch für die Erprobung von Verbesserungen kam KI zum Einsatz

Neben GPT‑6.1 Sol, das den Browser tatsächlich bediente, kam für Recherche und Verbesserungen GPT‑6 Astra von Codex zum Einsatz. Das Modell untersuchte die Code-Struktur, ermittelte Probleme bei der Verwaltung des Verlaufs, baute den Code für Experimente um und prüfte mehrere Konfigurationen parallel.

Menschen waren dabei durchaus beteiligt. Frank Hidalgo, CTO von StackAI, prüfte die Vorschläge und wählte die zu testenden Änderungen aus. Die Aufzeichnungen und Ergebnisse der Experimente wurden auch in separaten Modellsitzungen überprüft und in Asanas Entwicklungsplattform Command festgehalten. Über Tickets und Pull Requests gelangten die Änderungen schließlich in die Produktionsumgebung.

Hidalgo zufolge dauerte die Untersuchung rund eine Woche, obwohl sie bei manueller Arbeit schätzungsweise ein bis zwei Monate in Anspruch genommen hätte. Dieser Zeitvergleich beruht auf seiner Schätzung und nicht auf einem kontrollierten Versuch, bei dem Menschen dieselbe Arbeit allein erledigten.

Bei der Entscheidung über den Einsatz sollten Kosten und Abschlussrate gemeinsam betrachtet werden

Die 0,47 US-Dollar sind geschätzte Modellkosten, nicht die Gesamtkosten einschließlich Personalkosten und Systembetrieb. Außerdem erreichten einige Vergleichskonfigurationen die Obergrenze für die Zahl der Durchläufe, ohne die Aufgabe abzuschließen. Die Angaben von mindestens 36,21 US-Dollar und mindestens 22,5 Minuten sind daher Untergrenzen. Die zentralen Vergleichswerte sind Mittelwerte aus jeweils drei Durchläufen pro Konfiguration; dieselbe Einsparungsrate lässt sich nicht auf alle Webaufgaben übertragen.

Bei den optimierten Konfigurationen kostete Modell C 0,66 US-Dollar und benötigte 3,5 Minuten; GPT‑6.1 Sol kostete 0,47 US-Dollar und benötigte etwa vier Minuten. Bei dieser Aufgabe war Sol günstiger, während Modell C schneller war – die Rangfolge hängt also davon ab, ob niedrige Kosten oder kurze Laufzeit wichtiger sind.

Asana hat die Änderungen nun in die Browserbedienungsfunktion von StackAI übernommen. Künftig soll die Plattform um eine Bewertungsfunktion ergänzt werden, mit der Kunden und interne Teams die Kosten, Laufzeit und Antwortqualität verschiedener Konfigurationen vergleichen können.