Was der Agent am Rechner tun kann
Helferling Business arbeitet in den Programmen, die auf dem Rechner offen sind. Der Agent liest, was in einem Fenster steht, und bedient es Schritt für Schritt: klickt, tippt, blättert, startet Programme. Jeder Schritt steht im Gespräch.
Wie der Agent ein Fenster liest#
Der Agent liest ein Fenster so, wie ein Bildschirmleseprogramm es liest: den Titel, die Knöpfe, die Felder mit ihrer Beschriftung und ob sie ausgefüllt sind, Schalter mit ihrem Zustand, und den Text eines Dokuments, einer Mail oder einer Webseite. Was ausserhalb des sichtbaren Bereichs liegt, ist als „ausserhalb der Sicht“ markiert; dorthin blättert der Agent erst. Bildschirmfotos macht die App nicht.
Passwortfelder meldet Windows als solche; der Agent nennt sie nur, liest sie nie und tippt dort nie: Passwortfeld, hier tippt nur die Person.
Die Schritte#
| Im Gespräch steht | Was passiert | Stufe |
|---|---|---|
| Sieht nach, welche Fenster offen sind | Liste der offenen Fenster mit Programm und Titel. | liest nur |
| Liest das vorderste Fenster | Knöpfe, Felder und Schalter des vordersten Fensters, nie den Inhalt. | liest nur |
| Liest den Text im Fenster | Den Text eines Dokuments, einer Mail, einer Webseite. Fragt beim ersten Mal in einer Aufgabe, weil der Text an die KI geht. | liest nur |
| Wartet, bis „…“ erscheint | Sieht in kurzen Abständen nach, ob ein Dialog, eine Meldung oder ein Knopf da ist, höchstens 30 Sekunden. | liest nur |
| Holt „…“ nach vorn | Bringt ein offenes Fenster nach vorn. | ändert etwas |
| Klickt auf „…“ | Klickt auf einen Knopf, Eintrag oder ein Feld, gefunden über die Beschriftung, die Windows meldet. | ändert etwas; Senden, Bestellen, Löschen jedes Mal |
| Doppelklickt auf „…“ | Öffnet einen Ordner, eine Datei, eine Mail oder eine Zelle. Im Explorer, im Mailprogramm und auf Programmdateien fragt der Agent jedes Mal. | ändert etwas |
| Blättert zu „…“ | Holt einen Eintrag ausserhalb der Sicht in den sichtbaren Bereich, oder blättert seitenweise. | ändert etwas |
| Tippt in „…“ (12 Zeichen) | Tippt Text in das Feld, in dem die Schreibmarke steht. Die Freigabekarte zeigt den ganzen Text; die Leiste nur seine Länge. | ändert etwas |
| Ersetzt den Inhalt von „…“ | Ersetzt, was in genau diesem Feld steht, nur wenn die Schreibmarke dort ist. | ändert etwas |
| Drückt Strg+S | Eine Taste oder Kombination. Abschicken, Drucken, Schliessen fragt jedes Mal. | ändert etwas |
| Startet „…“ | Startet ein Programm aus dem Startmenü oder eine Seite der Windows-Einstellungen. In der Freigabe steht, welcher Eintrag gefunden wurde; genau der startet. | ändert etwas |
Was dabei zu sehen ist#
Für jeden Schritt tritt das Fenster der App kurz beiseite, damit sie nicht im Weg steht; das Gespräch sagt: Arbeitet am Rechner. Für jeden Schritt tritt dieses Fenster kurz beiseite. Oben am Bildschirm erscheint die Arbeitsleiste mit dem laufenden Schritt und Anhalten (Arbeitsleiste und Not-Aus). Braucht ein Schritt Ihre Freigabe, kommt das Fenster zurück und zeigt die Karte.
Nach jedem Schritt prüft der Agent, was danach vorn steht und ob etwas Neues erschienen ist, etwa ein Dialog „Änderungen speichern?“. Klappt ein Schritt nicht, folgt ein zweiter Versuch auf anderem Weg, danach eine Rückfrage an Sie. Geraten wird nicht: Ist eine Beschriftung nicht zu finden oder etwas mehrdeutig, sagt der Agent es.
Welche Programme#
Alles, was seine Beschriftungen an Windows meldet: Office-Programme, der Explorer, Browser, Mailprogramme, die Windows-Einstellungen und die meisten Branchenprogramme. Programme, die ihre Oberfläche selbst zeichnen, geben nichts her; dann sagt die App: Windows gibt über das vorderste Fenster nichts her (etwa bei Bildern, PDF-Seiten oder Programmen, die ihre Oberfläche selbst zeichnen). Frag die Person, was dort steht. Für CAD-Programme gibt es Anbindungen (Überblick und Katalog).
Welcher Agent#
Der mitgelieferte Agent Am Rechner hat alle Schritte und eine Arbeitsweise: erst das richtige Fenster, dann lesen, dann klicken oder tippen, nach jedem Schritt prüfen. Andere Agenten dürfen nur lesen, etwa der E-Mail-Assistent die offene Mail. Welche Schritte ein eigener Agent bekommt, legen Sie im Baukasten fest (Eigene Agenten bauen).