Computer Use: wenn die KI klickt

Bisher hat ein Assistent Text geliefert, und du hast geklickt. Bei Computer Use klickt er selbst: Er sieht deinen Bildschirm, bewegt den Zeiger, tippt in Felder. Das klingt nach der Lösung für alles – und ist in der Praxis ein Spezialwerkzeug.

Die Schleife dahinter

Das Modell bekommt ein Bildschirmfoto und deinen Auftrag. Es entscheidet über den nächsten Schritt – „klicke bei Position X“, „tippe diesen Text“ –, das Programm führt ihn aus, und ein neues Bildschirmfoto zeigt das Ergebnis. Dann beginnt die Schleife von vorn.

Daraus folgen die Eigenschaften, die du kennen musst:

• Langsam. Jeder Klick ist ein eigener Modellaufruf. Was du in zehn Sekunden erledigst, dauert Minuten.
• Fehleranfällig bei Kleinem. Winzige Schrift, ähnliche Schaltflächen und unerwartete Dialoge sind die typischen Stolperstellen.
• Universell. Es funktioniert mit jedem Programm, das ein Fenster hat – auch mit dem alten Buchhaltungsprogramm ohne Schnittstelle.

Die Reihenfolge der Werkzeuge

Beide großen Anbieter beschreiben die Bildschirmsteuerung als Weg für Fälle, in denen nichts Besseres passt. Die Reihenfolge:

1. Direkte Anbindung – Connector oder Schnittstelle. Schnell und genau.
2. Kommandozeile – für alles, was sich als Befehl ausdrücken lässt.
3. Browser-Integration – für Webseiten; sie liest den Seitenaufbau statt Pixel. Mehr dazu in der nächsten Station.
4. Computer Use – für Programme ohne andere Tür.

Anthropic schreibt für Claude ausdrücklich, dass Aufgaben per Bildschirmsteuerung langsamer laufen als über Connectors und dass Claude nur darauf zurückfällt, wenn keine der anderen Möglichkeiten passt.

Stand bei ChatGPT und Claude

OpenAI nennt die unterstützten Regionen auf der Hilfeseite nicht einzeln – ob die Funktion in deinem Konto erscheint, siehst du in den Einstellungen. Bei Claude haben Team- und Enterprise-Tarife noch keinen Zugang. Der frühere „Agent-Modus“ von ChatGPT mit eigenem virtuellen Rechner ist eingestellt; OpenAI verweist dafür auf ChatGPT Work. Computer Use bei OpenAI · Computer Use in Cowork · Claude Code am Desktop · ChatGPT agent (eingestellt)

Was es bewusst nicht tut

Laut OpenAIs Dokumentation automatisiert Computer Use keine Terminal-Programme und nicht ChatGPT selbst, meldet sich nicht als Administrator an und bestätigt keine Sicherheits- oder Datenschutzabfragen des Systems. Das sind die richtigen Grenzen: Ein Werkzeug, das sich selbst mehr Rechte geben könnte, wäre keines mehr.

Wofür es sich lohnt

Gut: eine klar umrissene Aufgabe in einer App, bei der ein Fehler auffällt und sich beheben lässt – Dateien umbenennen, Einstellungen durchgehen, Daten aus einem Altprogramm abtippen, die eigene Software durchklicken und testen.

Schlecht: alles mit Geld, Konten oder Unumkehrbarem. Und alles, was sich in einem Zug über einen Connector erledigen ließe.

Vier Regeln für den ersten Versuch

1. Eine App, ein Ablauf. Je enger der Auftrag, desto weniger Abzweigungen.
2. Schließ, was nicht gebraucht wird – vor allem Postfach, Passwortverwaltung und Banking.
3. Bleib dabei, sobald es um Konten, Zahlungen oder Sicherheitseinstellungen geht. OpenAI empfiehlt genau das.
4. „Immer erlauben“ nur für Programme, denen du vertraust – und räum die Liste regelmäßig auf.