Kurze Leine oder freie Hand? Wie du KI-Agenten richtig führst
Eine Nutzerin bittet ihren KI-Agenten, eine Info in ihrem Projektmanagement-Tool zu aktualisieren. Der Agent hat keine Zugangsdaten – findet aber das Recovery-Dokument ihres Passwortmanagers, loggt sich ein, besorgt sich das Passwort und erledigt die Aufgabe. Diese Agenten versuchen wirklich alles, um ans Ziel zu kommen. Umso wichtiger die Frage: Wie viel Freiheit gibst du ihnen?
Wir sortieren die KI-Welt in drei Freiheitsstufen – vom Chatbot über den Subagenten mit fester Arbeitsanweisung bis zum vollautonomen Agenten. Aber woran erkennst du, welche Stufe zu welcher Aufgabe passt? Warum darf ein Agent bei uns jeden Code anfassen, aber keine E-Mail an Kunden schicken? Und welche Frage solltest du dir stellen, bevor du einem Agenten freie Hand gibst?
Außerdem: KI als Universalkleber zwischen Systemen, die eigentlich nicht zusammenpassen – und wann dieser Kleber zu teuer wird. Ist die KI für dich eher Exoskelett oder Kollege? Und entwickelt sich das Verhältnis wie bei einem menschlichen Mitarbeiter, dem du immer mehr anvertraust – oder genau andersherum?
Zum Schluss wird's konkret: Wie formulierst du Ziele so, dass ein Agent selbstständig durchläuft, ohne falsch abzubiegen? Theo verrät, welche halbe Stunde vor dem Start darüber entscheidet, ob du am Ende guten Gewissens für das Ergebnis geradestehen kannst – oder vor dem Kunden sagen musst: „Das hat die KI so entschieden."
Transcript
Theo: Maxim, wie sehr fehlt dir die Zeit am Max-Planck-Institut?
Speaker:Maksim: Ach, eigentlich geht es. Aber manchmal kommen solche Gedanken durch und dann
Speaker:Maksim: hast du keinen, mit dem du sie teilen kannst.
Speaker:Maksim: Während bei so einer Coffee Break am MPA wäre das jetzt.
Speaker:Maksim: Dann wären wir jetzt direkt an die Tafel gegangen, hätten versucht,
Speaker:Maksim: irgendein Paper draus zu schreiben, was nachher keiner lesen will.
Speaker:Theo: Ja, aber ich glaube, das ist vielen gar nicht so bewusst, wie wissenschaftlich gearbeitet wird.
Speaker:Theo: Also gerade so mit der Corona-Zeit, wo ja dann auch viel Wissenschaftsskepsis
Speaker:Theo: hochgekommen ist, war das für mich vor allem informativ,
Speaker:Theo: zu lernen, wie wenig das eigentlich bekannt und publik ist, wie in der Wissenschaft
Speaker:Theo: gearbeitet wird und wie hart man sich da auch gegenseitig challenged, bis was reviewed ist.
Speaker:Theo: Und auch sowas wie das, was du gerade beschrieben hast, die Friday Coffee Break
Speaker:Theo: Seminar Sessions, wo man dann am Whiteboard steht und erstmal eine Idee durchickst.
Speaker:Maksim: Ja, nachher sind dann so richtig schöne Diskussionen, wo auch mal komische Szenarien
Speaker:Maksim: diskutiert werden, müssen dann nachher veröffentlicht werden und dann hast du die Kacke am Dampfen.
Speaker:Theo: Spannend wird es bei den Papern, wo nicht darum gestritten wird,
Speaker:Theo: wer als Autor mit draufsteht, sondern wer als Autor mit draufstehen muss.
Speaker:Maksim: Das stimmt.
Speaker:Theo: Apropos draufstehen muss, ich würde gerne die Diskussion vom letzten Mal fortführen.
Speaker:Theo: Und zwar haben wir ja schon darüber gesprochen, Verantwortung für KI-Systeme,
Speaker:Theo: Was muss man tun, um dann am Ende wirklich die Verantwortung für das,
Speaker:Theo: was die KI ausspuckt, übernehmen zu können?
Speaker:Theo: Und das letzte Mal waren wir relativ high-level unterwegs und wir haben uns
Speaker:Theo: für heute vorgenommen, dass wir ein bisschen tiefer einsteigen.
Speaker:Maksim: Und ich darf wieder die Fragen stellen.
Speaker:Theo: Oh ja, ich freue mich.
Speaker:Maksim: Ja, dann fangen wir doch mal gleich an. Thema Freiheit. Wie viel Freiheit gibst du denn der KI?
Speaker:Maksim: Und vielleicht um die Frage so ein bisschen zu strukturieren,
Speaker:Maksim: auch für das Publikum da draußen.
Speaker:Maksim: Wir denken da so ein bisschen in drei Kategorien. Wir denken in Chatbots.
Speaker:Maksim: Frage, Antwort, Frage, Antwort, Frage, Antwort.
Speaker:Maksim: Dazwischen darf der Bot vielleicht ein bisschen was machen, eine Websuche oder
Speaker:Maksim: irgendwie Code ausführen, aber grundsätzlich führt er ein paar Tools aus mit
Speaker:Maksim: dem Ziel, nach kurzer Zeit mit dir wieder zu kommunizieren.
Speaker:Maksim: Dann haben wir das Thema, das nennen wir Subagenten, das sind die,
Speaker:Maksim: wo der Pfad der Instruktionen vorgegeben ist,
Speaker:Maksim: also im Prinzip wie so eine Arbeitsanweisung hat dann der Agent,
Speaker:Maksim: mache A, dann mache B, dann mache vielleicht parallel C1, C2,
Speaker:Maksim: führe beides in D zusammen und E ist dann dein Ergebnis.
Speaker:Maksim: Also sowas wäre so eine Kette an Instruktionen mit Prompts, die robust sind,
Speaker:Maksim: die eigentlich immer gut funktionieren.
Speaker:Maksim: Und dann kannst du das abfeuern und der macht es und fertig.
Speaker:Maksim: Und dann haben wir ja quasi dann die höchste Intelligenz. Das ist dann nicht
Speaker:Maksim: der Subagent, sondern der Agent.
Speaker:Maksim: Das ist dann der, dem gibst du eine Aufgabe und dann darf der machen,
Speaker:Maksim: wie der Bot es für richtig hält.
Speaker:Maksim: Und so innerhalb dieser drei Kategorien eingeordnet, Theo.
Speaker:Maksim: Wie viel Freiheit gönnst du deiner KI?
Speaker:Theo: Also du hast ja die Hauptkategorien gerade schon aufgespannt und der Grad der
Speaker:Theo: Autonomie steigt von einer zur nächsten Kategorie tatsächlich.
Speaker:Theo: Wobei das nicht ganz stimmt.
Speaker:Theo: Der vordefinierte Workflow, das wäre jetzt sozusagen Kategorie 2,
Speaker:Theo: bei dem man ganz klar die einzelnen Prompt Chain Steps oder die Kettenglieder,
Speaker:Theo: vorgibt, bei denen kann der Agent eigentlich am wenigsten ausbrechen.
Speaker:Theo: Also man kann sich so vorstellen, du hast zum Beispiel einen Vertragschecker,
Speaker:Theo: Und brichst da konkret runter, okay, nicht nur die einzelnen Fragestellungen,
Speaker:Theo: sondern das Dokumenten-Read-In, das,
Speaker:Theo: nach einem ganz gewissen Muster erfolgen muss, um beispielsweise Fußnoten immer
Speaker:Theo: richtig einzulesen, sodass der Agent nicht von einem aufs nächste,
Speaker:Theo: aufs nächste, aufs nächste Mal immer wieder neu erfinden muss,
Speaker:Theo: hey, okay, wie rekonstruiere ich jetzt diese Seitenumbrüche,
Speaker:Theo: wo dann zwischendrin Fußnoten drin vorkommen.
Speaker:Theo: Und dann auch die inhaltliche Prüfung, die, wenn ich es voll durchdeklinieren
Speaker:Theo: kann und quasi die maximale Sicherheit haben möchte, wirklich dann in einer
Speaker:Theo: Prompt dann nur umfasst, hey, wie schaut es aus mit der Definition dieses Fachbegriffs?
Speaker:Theo: Ist der in dem Vertrag richtig definiert? Und dann macht der Bot an der Stelle,
Speaker:Theo: nichts anderes, als nur diese eine Prompt abzuarbeiten.
Speaker:Theo: Auf der anderen Seite, das Erste, was du gemeint hast, das sind ja Chatbots,
Speaker:Theo: die über eine System-Prompt definiert werden. Genau.
Speaker:Maksim: Und den Tools.
Speaker:Theo: Und den Tools, genau. Also letztlich, ich predige ja in meinen Schulungen immer
Speaker:Theo: die Dreifaltigkeit, die Prompt Instruction, der System Message,
Speaker:Theo: die Tools und das Kontextwissen, das man den Agenten quasi über Rack-Systeme noch mit reingibt.
Speaker:Maksim: Amen.
Speaker:Theo: Ja, aber so bleibt es hängen. Immer wieder wiederholen und am Ende könntest du die Teilnehmer.
Speaker:Theo: Und bei denen ist es so, also da legst du ja am Anfang sehr viel fest über die
Speaker:Theo: Persönlichkeit und eben welche Tools haben die überhaupt zur Verfügung. Genau.
Speaker:Theo: Und außer man gibt denen jetzt wieder irgendwelche Jailbreaks und so weiter
Speaker:Theo: mit in die Hand, aber dann sind sie da erst mal festgelegt.
Speaker:Theo: Und dann ist aber so, und das ist vielen, finde ich dann auch bei mir in den
Speaker:Theo: Schulungen gar nicht so bewusst, ab da ist dann wieder Freestyle.
Speaker:Theo: Also der Chatbot in der Interaktion mit dem Nutzer, der macht ja dann auch gern mal, was er will.
Speaker:Theo: Und wenn du dem sagst, okay, jetzt überprüfst du meinen Vertrag für mich,
Speaker:Theo: dann ist es quasi zu erwarten, dass der auch irgendwelche Dinge vergisst oder
Speaker:Theo: sich ablenken lässt vom Nutzer.
Speaker:Theo: Wenn du jetzt sagst, okay, jetzt steigen wir mal in die Klausel total tief ein,
Speaker:Theo: dann kommt er aus dem Rabbit Hole nicht mehr raus.
Speaker:Maksim: Ja, genau. Also du hast diese Attention, die Aufmerksamkeit des Bots, die ist.
Speaker:Maksim: Nur weil du in der System Message irgendeinen Arbeitsablauf vorgegeben hast,
Speaker:Maksim: der hält sie nicht hundertprozentig daran. Wäre auch wahrscheinlich relativ
Speaker:Maksim: nervig, wenn er das täte.
Speaker:Maksim: Und da ist der Kontrast zu dem Subagenten, wo das ja dann quasi wie vorgefertigte
Speaker:Maksim: Prompts sind, als hättest du
Speaker:Maksim: sie geschrieben, wo du dann dadurch ja den Arbeitsablauf total vorgibst.
Speaker:Maksim: Der ist dann sehr deutlich.
Speaker:Theo: Ja, und gleichzeitig ist halt irgendwo bei diesen vorgefertigten RPR,
Speaker:Theo: also Robotic Process Automation inspirierten Workflows, wo ja wirklich das total
Speaker:Theo: starr ist, aber wiederum nervig, weil wenn halt irgendwo unterwegs in der Kette
Speaker:Theo: was schief läuft oder nicht so wie vorher gesehen, dann ist es relativ schwer zu reparieren.
Speaker:Maksim: Genau, der Klassiker ist, das PDF konnte nicht eingelesen werden wegen,
Speaker:Maksim: keine Ahnung, Passwortschutz, dass man das her vielleicht noch nicht drin hatte.
Speaker:Maksim: Und dann laufen aber die 17 anderen Prompts mit, analysiere jetzt,
Speaker:Maksim: war dieses NDA symmetrisch und dann steht dann überall, wenn du Glück hast.
Speaker:Maksim: Das PDF konnte nicht eingelesen werden, aber wenn es so wäre,
Speaker:Maksim: dann könnte ich hier beantworten, bla bla bla, oder wenn du Pech hast,
Speaker:Maksim: beginnt er dann tatsächlich, das sind noch so die einzigen Fälle,
Speaker:Maksim: wo ich heute mit modernen Modellen noch Halluzinationsprobleme habe,
Speaker:Maksim: wenn so ein Subagent am Anfang scheitert.
Speaker:Theo: Oder das Abbruchkriterium und eine Fehlermeldung im Gesicht.
Speaker:Maksim: Aber das ist dann noch der bessere Fall.
Speaker:Theo: Ja, richtig, und bei den agentischen Cases, und mit agentisch,
Speaker:Theo: so wie wir es jetzt die letzten Male ja immer definiert haben,
Speaker:Theo: Du hast ein Modell, das sozusagen in einer großen Endlosschleife selber Aufgaben
Speaker:Theo: abfeuert, der wird sich davon jetzt erstmal nicht stoppen lassen.
Speaker:Theo: Der merkt dann, okay, PDF ist passwortgeschützt.
Speaker:Theo: So, dann schauen wir mal. Also entweder versuchen wir das Ding jetzt zu knacken
Speaker:Theo: oder wir fragen den Nutzer, Nutzerin nach Passwort.
Speaker:Theo: Das ist natürlich dann die deutlich flexiblere, aber auch immer eine Glücksspielgeschichte,
Speaker:Theo: wo man dann am Ende dabei rauskommt.
Speaker:Maksim: Um nochmal das konkret auf die Freiheit runterzubringen, da sind ja auch im
Speaker:Maksim: Prinzip drei Freiheitsmodi, wenn man so will, also Subagent der unfreieste,
Speaker:Maksim: würde ich jetzt mal sagen.
Speaker:Maksim: Wie entscheidest du, was du benutzt?
Speaker:Theo: Ob die Tätigkeit oder die Aufgabe, die der Bot übernehmen muss und soll,
Speaker:Theo: ob die von vornherein verstanden ist und wie gut.
Speaker:Theo: Also sowas wie ein Vertragschecker, das funktioniert in der Form nur,
Speaker:Theo: wenn am Anfang schon klar ist, okay, das ist nicht nur immer genau diese Art
Speaker:Theo: von Vertrag, sondern es werden mich immer genau diese Aspekte interessieren.
Speaker:Theo: Das ist sozusagen, wo der Mensch auch schlecht ist, weil wir gerne einfach Dinge
Speaker:Theo: vergessen und uns ja auch ablenken lassen.
Speaker:Theo: Genau für die Art von Tätigkeit, wo man so total genau arbeiten muss.
Speaker:Theo: Das eignet sich sehr, sehr gut.
Speaker:Theo: Und auch so ein Beispiel, das ich immer wieder an den Projekten erwähne,
Speaker:Theo: ist, sobald du Daten zu verarbeiten hast, die von extern kommen,
Speaker:Theo: dann kannst du dir sehr, sehr häufig den Ansatz schon mal abschminken, weil.
Speaker:Theo: Du externe Daten nie vollständig unter Kontrolle hast.
Speaker:Theo: Also du kannst ja auch ein Lied davon singen. Und dann, ja, was bleiben dann für Use Cases übrig?
Speaker:Theo: Entweder, dass die externen Daten absolut strikt einem Schema folgen müssen
Speaker:Theo: oder dass du halt dich darauf verlassen kannst, dass es gute Daten sind,
Speaker:Theo: weil du hast sie selber sozusagen verwaltet und maintained.
Speaker:Theo: Und je mehr es zu einer offenen Fragestellung wird,
Speaker:Theo: wo der Lösungsweg auch per se noch völlig unbekannt ist, desto mehr geht es
Speaker:Theo: rüber in die agentischen Workflows und sozusagen, wenn der Nutzer oder die Nutzerin
Speaker:Theo: nur Ahnung hat, dann kann man denen ein Chatbot an die Hand geben, dass die den steuern,
Speaker:Theo: aber spätestens wenn die Nutzerschaft selber gar nicht mehr weiß wie man zur
Speaker:Theo: Lösung kommt, dann kannst du eigentlich nur noch, ja, prompt and pray das an
Speaker:Theo: den agentischen Loop geben und hoffen, dass der dann schon rausfinden wird, wie es zu tun ist.
Speaker:Maksim: Ich würde da noch ergänzen, für mich ist auch so die Konsequenzen eines Fehlverhaltens.
Speaker:Maksim: Beispielsweise bei einem, wenn ich wieder bei der Programmierung,
Speaker:Maksim: hey, wenn der Agent halt total Mist baut, dann habe ich halt nachher in meinem
Speaker:Maksim: Repository, irgendeine Code-Änderung, die absolut dämlich ist,
Speaker:Maksim: aber die ich mit zwei Klicks verwerfen kann oder rückgängig machen kann.
Speaker:Maksim: Während wenn du sagst, das kommuniziert jetzt zum Beispiel direkt oder,
Speaker:Maksim: keine Ahnung, der schreibt E-Mails, da wollte ich dir auch noch was zu fragen, aber sagen wir mal,
Speaker:Maksim: der macht deine CRM-Kommunikation, also dein Customer Relationship Management,
Speaker:Maksim: die Fehler kriegst du nicht mit zwei Klicks korrigiert, sondern da kriegst du
Speaker:Maksim: dann vielleicht nachher bei 500 Leuten zu Kreuze, den du irgendeine total dämliche
Speaker:Maksim: E-Mail geschrieben hast.
Speaker:Maksim: Also bei Letzterem wäre ich dann vorsichtig, ein autonomes, agentisches System, das machen zu lassen.
Speaker:Theo: Ja, das ist ein guter Punkt.
Speaker:Maksim: Also, was ist das, sagen wir, Fallout? Der Knastcase. Der Knastcase, genau.
Speaker:Maksim: Also wenn ich zum Beispiel sagen würde, ich hätte ein modernes,
Speaker:Maksim: agentisches Modell und sage, ich
Speaker:Maksim: möchte das in einer Sandbox auf seine IT-Sicherheitsfähigkeiten testen.
Speaker:Maksim: Und bin mir aber vielleicht nicht sicher, wie sicher meine Sandbox ist.
Speaker:Maksim: Also ich hätte das jetzt nicht gemacht.
Speaker:Maksim: Aber gut.
Speaker:Theo: Naja, also du zielst ja auf die Ausbrüche ab, die jetzt vor kurzem erst auch passiert sind.
Speaker:Theo: Und witzigerweise ja bei Entropic und bei OpenAI.
Speaker:Theo: Und da merkt man ja erstmal, wie hart es sogar den Hyperscalern,
Speaker:Theo: oder wie schwer es denen fällt, die Modelle unter Kontrolle zu halten.
Speaker:Theo: Und deswegen, also was ich schon krass finde, der momentan aktuellste Hype,
Speaker:Theo: das ist ja dieses Cowork, also nach den Co-Piloten jetzt mit den Coworks,
Speaker:Theo: wo man dann den Agenten seiner Wahl bei sich lokal auf dem Computer mit Super-Admin-Rechnen installiert.
Speaker:Theo: Also ich finde, das ist schon krass. Also einerseits predigen immer alle,
Speaker:Theo: ja, ja, Vorsicht, Vorsicht, keine Zugriffe.
Speaker:Theo: Und hey, wie kann man nur so dumm sein, den Agenten hier vollständigen Zugriff
Speaker:Theo: zu geben? Und dann ist es genau das, was momentan versucht wird,
Speaker:Theo: über das Marketing zu platzieren.
Speaker:Maksim: Es existieren irgendwie da beide Welten. Für mich ist es deswegen auch,
Speaker:Maksim: also deswegen mag ich das auch so gern, zum Beispiel Cloud-Code in Hallerium
Speaker:Maksim: zu nutzen, weil dann ist das in diesem Workspace auf dieser Maschine und nicht
Speaker:Maksim: auf meinem Computer, wo daneben irgendwie,
Speaker:Maksim: keine Ahnung, wenn du dich durchs File verzeichnest, dann sind da vielleicht
Speaker:Maksim: sensitive Kundendaten.
Speaker:Maksim: Ich möchte nicht, dass mein Cloud, auch wenn er das noch nie probiert hat,
Speaker:Maksim: theoretisch mit seinem Terminal darauf zugeführt hat.
Speaker:Maksim: Also, und wenn er in einem Hallerium-Runner ist, dann ist er da drin gefangen,
Speaker:Maksim: kann trotzdem immer seine Aufgaben, die ich von ihm will, wunderbar erledigen.
Speaker:Maksim: Also ich kann ja nur predigen, nutzt virtuelle Maschinen.
Speaker:Maksim: Dann habt ihr nämlich genau diesen Super-GAU-Fall, von dem wir vorhin gesprochen haben.
Speaker:Maksim: Dann wisst ihr, was der ist. Also wenn auf dieser Maschine halt mein E-Mail-Account
Speaker:Maksim: einfach nicht verknüpft ist.
Speaker:Theo: Ja, richtig.
Speaker:Maksim: Was soll dann passieren? Also aus dem Blickwinkel jetzt, dass E-Mails verschickt werden oder sowas.
Speaker:Maksim: Aber wenn ich das alles auf meinem Personal-Computer laufen lasse,
Speaker:Maksim: gibt es ja diverse Frameworks, ja, dann muss ich halt auch dieses Risiko tragen.
Speaker:Theo: Letztlich ist da aus meiner Sicht da gar nicht die Frage, ob da Scheiße dabei
Speaker:Theo: passiert, sondern nur wann.
Speaker:Maksim: Wie mit dem Datenverlust, ne?
Speaker:Theo: Ja, richtig, genau. Es gibt nur zwei Arten von Menschen, die schon Daten verloren
Speaker:Theo: haben und die es noch werden, oder? Den Spruch meinst du? Genau.
Speaker:Theo: Und genauso ist es mit den KI-Agenten, die du lokal installierst.
Speaker:Theo: Ich habe es am Wochenende wieder von einer gelesen, die hatte so zum Spaß gesagt,
Speaker:Theo: ja, okay, ich glaube, das war wieder mein Claude Cowork,
Speaker:Theo: aktualisieren wir die und die Info in dem und dem System. Ich glaube,
Speaker:Theo: das war so Projektmanagement-System.
Speaker:Theo: Und was macht Claude? Claude findet von ihrem Passwortmanager das Recovery PDF,
Speaker:Theo: loggt sich in den Passwortmanager ein, zieht sich da das Passwort raus und loggt
Speaker:Theo: sich dann bei ihrem Projektmanagementsystem ein. Also das geht auch über Eck.
Speaker:Maksim: Ja, das ist so ähnlich wie sich auf Hugging FaceEye zu hacken,
Speaker:Maksim: um für diesen Hacker-Test zu finden.
Speaker:Theo: Ja, richtig, richtig.
Speaker:Maksim: Ei, aber Claude hat doch die Aufgabe gelöst.
Speaker:Theo: Ja, genau. Aber ich hoffe, das ist jetzt so eine Fun-Story, aber da steckt natürlich
Speaker:Theo: ein cooler, auch finde ich sehr, sehr, sehr interessanter Kern drin,
Speaker:Theo: dieser vollautonom-agentischen Loops.
Speaker:Theo: Du gibst dir eine Aufgabe, also eine Zieldefinition, sagst mach und das Modell
Speaker:Theo: wird alles in seinem Training und Toolset mögliche versuchen, um da hinzukommen.
Speaker:Maksim: Genau, und das ist Fluch und Segen zugleich.
Speaker:Theo: Ganz genau, ja.
Speaker:Maksim: Gehen wir ein bisschen in eine andere Richtung.
Speaker:Maksim: Mal folgendes. Ich glaube, das habe ich mal in irgendeinem Y-Combinator-Podcast gehört.
Speaker:Maksim: Da ging es so darum, hey, überleg mal, wie viele heutige Office-Jobs sind doch
Speaker:Maksim: eigentlich sowas wie, du tippst Daten aus Maske A ab und tippst sie in irgendeiner
Speaker:Maksim: pivotierten Form in Maske B ein.
Speaker:Maksim: Also das hat auch heute noch irgendwie jeder von uns ein bisschen zu tun.
Speaker:Maksim: Und das ist eigentlich eine relativ stupide Tätigkeit auf der Abstraktionsebene.
Speaker:Maksim: Und genau das kann ja die KI heutzutage machen. Also im Prinzip,
Speaker:Maksim: ich glaube, du hast es mal so wie sagen, den Universalkleber genannt oder sowas.
Speaker:Maksim: Also was quasi eine Schnittstelle nicht bietet, kann die KI ausbügeln.
Speaker:Maksim: Was hat deine KI denn für dich zusammengeklebt in den letzten drei Jahren,
Speaker:Maksim: was vorher noch nicht zusammengepasst hat?
Speaker:Theo: Also ein sehr, sehr cooler Case, der mir da neulich untergekommen ist, das war die...
Speaker:Theo: Datenverarbeitung von einem Kassensystem. Und zwar ist der Use-Case der,
Speaker:Theo: es gibt doch diese Self-Service-Supermärkte,
Speaker:Theo: wo du mit deiner IC-Karte kommst quasi in den Raum und holst dir deine Waren,
Speaker:Theo: scannst die ein, bezahlst und alles quasi ohne Personal, dafür 24-7 geöffnet.
Speaker:Theo: Und da hat man den Case, dass diese Kassensysteme sehr.
Speaker:Theo: Unzuverlässig hinsichtlich ihrer Buchungsdaten waren. Also die haben dann doppelte,
Speaker:Theo: Buchungen angelegt, weil der Barcode-Scanner hat quasi den Barcode zweimal gelesen,
Speaker:Theo: dann gab es quasi gleich einen doppelten Satz.
Speaker:Theo: Und die Konsequenz war dann, dass eine sehr gut bezahlte Steuerfachkraft diese
Speaker:Theo: Buchungssätze eins nach dem anderen gecheckt und musste quasi die Duplikate rausholen und so.
Speaker:Theo: Und das war so ein klassischer Klebercase, weil diese Regeln,
Speaker:Theo: nach denen die Anomalien zu erkennen waren, eigentlich sehr,
Speaker:Theo: sehr einfach beschreibbar waren.
Speaker:Theo: Also du sagst, okay, jetzt pass mal auf, wenn innerhalb von fünf Sekunden zweimal
Speaker:Theo: der gleiche Artikel gescannet wird, dann ist das erstmal verdächtig.
Speaker:Theo: Also checkt das nochmal, ob das wirklich Sinn ergibt.
Speaker:Theo: Oder auch bei den Abbuchungen. Also teilweise wurde die EC-Karte zweimal mit
Speaker:Theo: dem gleichen Betrag belastet und so schluss.
Speaker:Theo: Und sowas kannst du gut in Worte fassen und gleichzeitig, naja,
Speaker:Theo: für irgendwie fünf so Terminals baust du nicht gleich eine neue Monster-App.
Speaker:Theo: Und da war dann auch der Trade-Off okay. Aber man muss schon auch sagen,
Speaker:Theo: Wahrheit von den skalierten Kosten, also wenn du jetzt sagst,
Speaker:Theo: du lässt es mal auf eine Milliarde Buchungen los, dann wäre es wieder zu teuer gewesen.
Speaker:Theo: Und es gibt da wieder Spielraum, dass das Modell dann doch Fehler macht.
Speaker:Maksim: Mit Trade-Off meinst du,
Speaker:Maksim: Die Kosten zu sagen, hey, eine KI, der ich quasi jetzt einfach mit Brain,
Speaker:Maksim: ein bisschen formalisiert, ein Brain Dump erkläre, was sie zu tun hat versus
Speaker:Maksim: ich programmiere was Vernünftiges dafür oder lasse was programmieren.
Speaker:Maksim: Und da ist halt dieser Trade-off bei einem einzelnen oder zwei Läden KI.
Speaker:Maksim: Aber wenn du dir auf eine Milliarde Buchungen, dann sagst du halt,
Speaker:Maksim: na, dann passieren A zu viele doch Fehler und B ist halt auch teuer.
Speaker:Theo: Ist genau, einfach viel, viel zu teuer und ist es nicht in der Programmier-Community,
Speaker:Theo: also in der Informatik-Community momentan so ein Meme,
Speaker:Theo: dass Juniors dazu neigen, Dinge, die man,
Speaker:Theo: ohne Problem einfach programmatisch lösen kann, wie eine Vorschleife,
Speaker:Theo: dass man das als Tasks eintaktet bei einem Manus und der muss das dann abarbeiten.
Speaker:Maksim: Das habe ich noch nicht gehört, aber das glaube ich sofort.
Speaker:Theo: Genau dieses Pattern, dass man jeden Scheiß jetzt an der KI auslagert,
Speaker:Theo: obwohl es weder nötig ist, noch förderlich, sondern dir ja eher eigentlich nur Probleme bereitet.
Speaker:Maksim: Wo ich das manchmal beobachte, ist, dass Leute sowas wie einen Git-Push oder Git-Commit,
Speaker:Maksim: das sind ja wenige Zeilen getippt ins Terminal, dass dann lieber halt dem Klotz
Speaker:Maksim: sagen, der vielleicht noch auf irgendwie super extra langem Nachdenken konfiguriert
Speaker:Maksim: hat und da bläst du dann einfach mal, keine Ahnung,
Speaker:Maksim: hast gefühlt jetzt einen Hektar Regenwald abgeholzt, um dir selber irgendwie
Speaker:Maksim: zehn Zeichen Code tippen zu ersparen.
Speaker:Theo: Ja, genau das ist die Idee, ne?
Speaker:Maksim: Ja, er kann ja immer alles mal durch eine KI durch. Warum also nicht?
Speaker:Maksim: Er bringt uns so ein bisschen dahin,
Speaker:Maksim: Was ist denn die KI für dich? Also ist das sozusagen, keine Ahnung, dein Exoskelett oder
Speaker:Maksim: dein Ausrüstungsgegenstand oder ist das der Buddy oder der Kollege oder der Assistent?
Speaker:Maksim: Also verstehst du, was ich meine? Ist das ein Tool an dir oder ist das eine Persona?
Speaker:Maksim: Vielleicht ist es auch beides, aber du kannst es mal so ein bisschen einordnen,
Speaker:Maksim: in welcher Situation ist das was für dich?
Speaker:Theo: Ja, vielleicht auch zeitlich aufgeräumt, ganz zu Beginn, also so auch mit den
Speaker:Theo: allerersten Modellen, als GPT-4 noch der heißeste Scheiß war,
Speaker:Theo: da war das für mich total die Exoskelett-Geschichte, weil die Modelle ja auch,
Speaker:Theo: einen sehr, sehr kurzen Aufmerksamkeitshorizont hatten, bis sie an eine Mauer
Speaker:Theo: gelaufen sind, wo dann sowieso zurückkam, okay und was soll ich jetzt machen?
Speaker:Theo: Das heißt, da waren wir eher in diesem super fein granularen Steuern mit drin.
Speaker:Maksim: Ja, die agentischen Systeme haben ja damals auch noch gar nicht funktioniert.
Speaker:Theo: Ja, und also auch vom Pricing her, die waren auch damals viel zu teuer,
Speaker:Theo: wenn man noch sagt, okay, da hatten wir 10 Euro pro Kilo-Token und nicht Mega- oder Gigatoken.
Speaker:Maksim: Ein ganzer Mann.
Speaker:Theo: Ja, genau, genau, genau. Und
Speaker:Theo: okay, also back in the days stellte sich die Frage aus meiner Sicht nicht.
Speaker:Theo: Und jetzt seit heute ist es eine Zweiteilung für mich tatsächlich.
Speaker:Theo: Also das Zeug, was ich gut verstanden habe, da will ich auch irgendwie so in
Speaker:Theo: diese Exoskelett-Nummer wieder mit rein, aus der Sicht der Kontrolle,
Speaker:Theo: weil diese Buddy-Modelle,
Speaker:Theo: also Buddy-Modelle im Sinn von Arbeitsmodell, nicht KI-Modell,
Speaker:Theo: wo ich sage, okay, hier ist eine Aufgabe, mach.
Speaker:Theo: Da fühle ich mich dann immer zu sehr aus dem Loop genommen, wenn du weißt,
Speaker:Theo: was ich meine. Also ich bin dann sozusagen dem Ergebnis schutzlos und ahnungslos ausgeliefert.
Speaker:Theo: Wenn das von der KI erledigt wurde, die Aufgabe, also was schreiben,
Speaker:Theo: was reviewen, was programmieren, gibt da die verschiedensten Arten von Aufgaben.
Speaker:Theo: Und deswegen stelle ich bei mir persönlich fest, also wenn es eine komplett neue Aufgabe ist,
Speaker:Theo: dann bin ich eher in diesem Body-Mode und habe dann aber das intrinsische Verlangen,
Speaker:Theo: das zu einem Exoskelett zu machen, also dass ich den Body absorbiere und der
Speaker:Theo: eigentlich immer, dass die Leine immer kürzer wird tatsächlich,
Speaker:Theo: obwohl ja eigentlich so das propagierte,
Speaker:Theo: im Marketing, also so KI-Marketing-Bubble, die sagt ja, okay,
Speaker:Theo: die Agenten werden immer autonomer, also dass man da hin möchte.
Speaker:Maksim: Ja, ich sehe da noch so diesen fundamentalen Unterschied, auch einfach zwischen
Speaker:Maksim: einem menschlichen Kollegen und einem KI-Agenten, selbst wenn einzelne Aufgaben
Speaker:Maksim: gleichermaßen delegiert werden können,
Speaker:Maksim: habe ich quasi bei einem menschlichen Kollegen das Bedürfnis,
Speaker:Maksim: immer mehr zu delegieren,
Speaker:Maksim: also immer mehr von der Verantwortung, wo ich denke, jetzt hat er sich da eingefressen,
Speaker:Maksim: kennt sich jetzt langsam besser aus als ich, hey, ja, dann, take it off my plate.
Speaker:Maksim: Und beim KI-Agenten, wie du sagst, irgendwann, okay, jetzt müssen wir mal schauen,
Speaker:Maksim: wie wir das jetzt wieder standardisiert kriegen und vielleicht aus diesem Floor
Speaker:Maksim: dann wieder so einen Subagenten machen oder sowas, um das dann in diese Exoskelett-Welt zu bringen.
Speaker:Maksim: Und mein mentales Bild ist da so ein bisschen, ja, weil halt ein Mensch Verantwortung
Speaker:Maksim: tragen kann und ein KI-Agent nicht, bei dem trägst immer noch du die Verantwortung und dann
Speaker:Maksim: dann musst du ja deine Due Diligence auch irgendwie, also du musst dann diese Leine behalten.
Speaker:Maksim: Also für mich ist das so, emotional formuliert der Unterschied. Hast du das mit?
Speaker:Theo: Ja, und erinnert mich an eine Diskussion, die wir im Team geführt haben,
Speaker:Theo: weil da ja auch eine Kollegin von uns meinte, ich weiß nicht,
Speaker:Theo: ob du da im Loop warst, so,
Speaker:Theo: hey Theo, am Ende muss ich mich hinstellen können vom Kunden und sagen,
Speaker:Theo: das ist jetzt so und so und so gebaut, weil, und dann brauche ich da eine Antwort drauf.
Speaker:Maksim: Genau, dann kann ich nicht sagen, weil die KI das so entschieden hat.
Speaker:Theo: Ja, jetzt stell dir mal vor, wie man sich da auch lächerlich macht,
Speaker:Theo: wenn man am Ende bei einem kritischen Feature total blank ist und sagt so,
Speaker:Theo: ja, hat Talerium entschieden.
Speaker:Maksim: Ja, während wenn du sagst, ja, das hat mein Entwickler entschieden,
Speaker:Maksim: ist vielleicht immer noch nicht optimal in der Präsentation,
Speaker:Maksim: aber dann sagst du halt, ja, okay, wenn sie da die Details wissen wollen,
Speaker:Maksim: machen wir ein Follow-up und morgen ist der dabei, der Entwickler.
Speaker:Theo: Aber wo ziehst du dann die Grenze? Also wo ist die Schallmauer,
Speaker:Theo: wo du sagst, okay, das ist jetzt, keine Ahnung, woran du das festmachst?
Speaker:Theo: Eine Geschichte, wo es okay ist, dann auch zu sagen, keine Ahnung,
Speaker:Theo: wie das gelaufen ist, das hat die KI für mich gemacht, oder da weißt du ganz
Speaker:Theo: genau, wie es passiert ist.
Speaker:Maksim: Ich denke da so ein bisschen wieder vom Ergebnis, vom Ende her.
Speaker:Maksim: Kann ich am Ende so halbwegs plausibilisieren, ob das sinnvoll ist?
Speaker:Maksim: Und dann kann mir ja der Weg dahin egal sein. Und
Speaker:Maksim: Vielleicht auch so ein bisschen bei so Sachen wie Informationsbeschaffung,
Speaker:Maksim: wenn du da so einen Agenten auf so eine Deep Research Sache geschickt hast,
Speaker:Maksim: ich werde nahe nicht die Quellen von dem prüfen,
Speaker:Maksim: sondern ich werde das Ergebnis überprüfen und dann versuchen,
Speaker:Maksim: kann ich irgendwie beurteilen, ob das jetzt Fantasie ist oder real,
Speaker:Maksim: aber ich hätte keinen Deep Research Agenten bemüht, wenn ich sage,
Speaker:Maksim: ich müsste nachher noch alle überall schauen, ob das korrekte Primärquellen sind.
Speaker:Maksim: Aber wenn ich das gar nicht hinten raus
Speaker:Maksim: beurteilen kann, dann ist eine Möglichkeit noch zu sagen, ich gehe dann wieder
Speaker:Maksim: in so einen Chatty-Agenten und lasse es mir vom Ergebnis her dann Schritt für Schritt erklären.
Speaker:Maksim: Also quasi der Agent hat seine lange Reise dahin gehabt, vielleicht da Umwege
Speaker:Maksim: gehabt, Dinge verworfen und so weiter, aber dann habe ich irgendein Ergebnis,
Speaker:Maksim: für das muss ich gerade stehen und dann muss ich es tatsächlich,
Speaker:Maksim: wie du sagst, irgendwie verstehen.
Speaker:Maksim: Das kann ich mir dann wieder von einer KI erklären lassen, aber in einem Ping-Pong dann.
Speaker:Maksim: Und zwar so, dass ich es halt bei meinem Skill-Profil verstehe.
Speaker:Theo: Aber das heißt, du hast gerade dieses Deep Research Beispiel gebracht,
Speaker:Theo: Für mich ist da der Eindruck, aber das ist natürlich immer alles subjektiv,
Speaker:Theo: dass dieses Deep Research war
Speaker:Theo: so ein massiver Hype, der dann aber relativ wieder schnell verpufft ist.
Speaker:Theo: Und das ist aktuell, ich glaube bei JetGPT, so unter Tools oder Workflows,
Speaker:Theo: weitere und dann quasi nochmal Submenü 12, das ist mittlerweile so in den Hintergrund gerückt, oder?
Speaker:Maksim: Ich meine auch nicht das ganz konkrete Tool, was diesen Namen geprägt hat,
Speaker:Maksim: sondern wenn du jetzt einen modernen Agenten nimmst, der Internetzugriff hat
Speaker:Maksim: und du sagst dem, du stellst dem eine komplexe Research-Frage und sagst dem, hey, bitte
Speaker:Maksim: mach dich wirklich schlau, überleg erstmal,
Speaker:Maksim: welche Art von Informationen du einsammeln würdest, dann finde zu allem Quellen
Speaker:Maksim: und dann schreib nachher was, quasi umfassend das zusammen, der würde das ja
Speaker:Maksim: in neuer und schöner dann ja auch gut machen.
Speaker:Theo: Ja, aber von der Logik her trotzdem ja das Gleiche. Du schickst einen Agenten
Speaker:Theo: los und am Ende kommt was raus. Es ist hochgradig kondensiert.
Speaker:Theo: Und ich habe da immer so den Eindruck, das Thema ist eben verpufft,
Speaker:Theo: weil sich kaum jemand hinstellen möchte vor zum Beispiel dann einem Komitee
Speaker:Theo: und PowerPoint-Karaoke-mäßig dann die Ergebnisse von einem KI-Agenten vorliest.
Speaker:Theo: Sondern was du ja beschrieben hast war dann okay es gibt quasi jetzt ein vorläufiges
Speaker:Theo: ergebnis ja und dann geht die arbeit eigentlich erst los und zwar dass ich mich
Speaker:Theo: als mensch wieder mit reingraben oder.
Speaker:Maksim: Richtig aber das ist ja häufig dann schneller als von scratch zu machen gerade
Speaker:Maksim: wenn es so viel hit and miss ist keine ahnung wenn ich dir sagt finde die
Speaker:Maksim: 20 wichtigsten Firmen für irgendwie ganz seltsame Segmentierung raus und so
Speaker:Maksim: weiter, suchst du dir die Finger rund und wenn du das die KI machen lässt und die,
Speaker:Maksim: sind es dann wirklich die 20, vielleicht sind 10 von denen eigentlich nicht
Speaker:Maksim: so relevant, aber 10 sind dabei, ist wahrscheinlich immer noch gut,
Speaker:Maksim: das zu haben. Also es hängt so ein bisschen von der Aufgabe ab.
Speaker:Theo: Ja, aber ich fand das hier gerade spannend, dass eben dieses Heilsversprechen
Speaker:Theo: von wegen so Deep Research, der macht sein Ding und dann so mit dem Ergebnis
Speaker:Theo: ist man fix und fertig, dass das eben nicht hält.
Speaker:Maksim: Wenn es einen Mitarbeiter gemacht hätte, der
Speaker:Maksim: Verantwortung, wenn ich wieder meine Mitarbeiter, als Person kann er Verantwortung
Speaker:Maksim: oder hat auch einen Ruf zu verlieren und so weiter, hat eine ganz andere noch
Speaker:Maksim: mal Agency als der Agent.
Speaker:Maksim: Und dementsprechend da könnte ich dann sagen, hey, das hat der Son so gemacht,
Speaker:Maksim: dem Ergebnis vertraue ich. Da schaue ich jetzt vielleicht einmal drauf,
Speaker:Maksim: das ist ungefähr das, was ich mir vorgestellt habe, so als Finger dann schauen,
Speaker:Maksim: oder das mache ich nur beim ersten Mal.
Speaker:Maksim: Und das sehe ich halt mit der KI halt aufgrund der Verantwortungs-
Speaker:Maksim: Ownership nicht.
Speaker:Maksim: Wollen wir weitermachen? Ein paar Beispiele. Da sind wir auch so bei,
Speaker:Maksim: so Ownership, Verantwortung und so weiter.
Speaker:Maksim: Ja, was lässt du deine KI alleine machen? Also nehmen wir mal ein Beispiel,
Speaker:Maksim: wir hatten vorhin E-Mails verschickt, da wollte ich auch nochmal drauf hinaus.
Speaker:Maksim: Du hattest Vertragsprüfung. Vertragsprüfung genannt, und dann generell so Entscheidungen treffen.
Speaker:Maksim: Das wären ja alles so diese Punkte, diese Case-by-Case. Also was davon lässt
Speaker:Maksim: du die KI autonom machen, was lässt du sie gar nicht machen?
Speaker:Maksim: Wo schaust du nochmal über die Ergebnisse drüber?
Speaker:Theo: Das ist mir jetzt in der Vorbereitung auf die Folge auch nochmal klar geworden.
Speaker:Theo: Das hängt total davon ab, welche Art von Aufgabe das ist.
Speaker:Theo: Und das wiederum sind sich viele bei mir auch in den Schulungen überhaupt nicht
Speaker:Theo: bewusst, welche verschiedene Arten von Arbeit es eigentlich gibt.
Speaker:Maksim: Das ist ein Framework für uns.
Speaker:Theo: Naja, das ist jetzt keine wissenschaftliche Klassifikation, aber nur mal ganz einfach.
Speaker:Theo: Das hängt dann mit diesem Kleberthema von vorher zusammen. Wenn es darum geht,
Speaker:Theo: dass die KI für mich die richtigen Knöpfe drückt über eine API und die richtigen
Speaker:Theo: Texte in die richtigen Textfelder einträgt.
Speaker:Theo: Das ist sowas, da denke ich mir so, okay, mach. Ja, weil A ist da der Spielraum
Speaker:Theo: relativ klein, wo was schief gehen kann.
Speaker:Maksim: Ja.
Speaker:Theo: Und da findet sozusagen nichts kritisches unterwegs statt, sondern das ist Text
Speaker:Theo: von A nach B, vielleicht ein bisschen umformatieren, umtransformieren, okay, passt schon.
Speaker:Theo: Und dann wiederum, nächste Stufe von diesem voll mechanischen Arbeiten,
Speaker:Theo: das ist sozusagen, das sind so Execution-Themen, wie ich habe einen Plan,
Speaker:Theo: ich wüsste, wie ich es machen müsste, wenn ich es selber,
Speaker:Theo: kann und ich weiß auch, woran ich dann das Ergebnis festmache.
Speaker:Theo: Das ist dann quasi die Zügel ein bisschen lockerer gelassen und das Kritischste,
Speaker:Theo: du hast gerade schon das Wort Entscheidung treffen erwähnt, so Entscheidungsabläufe,
Speaker:Theo: und deswegen, also ich mag diesen Deep Research Workflow überhaupt nicht,
Speaker:Theo: weil da wird quasi implizit, werden schon so viele Entscheidungen getroffen,
Speaker:Theo: in welche Richtungen weiter recherchiert wird und in welche nicht,
Speaker:Theo: da bin ich am kritischsten und greife quasi dann wirklich am tiefsten auch in
Speaker:Theo: den Denkprozess von dem KI-Agenten mit rein.
Speaker:Theo: Das wären für mich so drei. Ich weiß nicht, fällt dir noch eine vierte ein,
Speaker:Theo: die ich da übersehen habe oder wird es da mitgehen?
Speaker:Maksim: Wenn du bei Entscheidungen auch das meinst, also jetzt bei Deep Research passiert
Speaker:Maksim: ja nichts Schlimmes, weil das ist ja quasi ein Passives, also ein Aufsaugen
Speaker:Maksim: von Informationen, nicht ein Ausführen von Handlungen.
Speaker:Maksim: Aber wenn du bei Entscheidungen das Ausführen von Handlungen,
Speaker:Maksim: wir hätten es vorhin besprochen, wenn da E-Mails an 500 Kunden rausgehen könnten
Speaker:Maksim: durch den Agenten, da bin ich dann bei dir. Das ist halt der Teil,
Speaker:Maksim: wo ich Entscheidungen nicht komplett autonom haben will.
Speaker:Maksim: Weil die meistens von etwas abhängen, woran ich vielleicht noch nicht gedacht
Speaker:Maksim: habe, als ich die Aufgabe formuliert habe.
Speaker:Maksim: Und der Agent somit, nachdem er ja nicht meine Gedanken lesen kann, nur raten kann.
Speaker:Maksim: Also das bringt mich auch vielleicht zu der letzten Frage, die ich mitgebracht
Speaker:Maksim: habe mit dem Thema, wann ist denn so ein Agent fertig?
Speaker:Maksim: Oder was sind, vielleicht technisch formuliert, seine Breakpoints?
Speaker:Maksim: Also fertig ist die, okay, also es gibt quasi, wann ist die Aufgabe fertig fertig?
Speaker:Maksim: Und das ist ja auch eine Kunst, das zu formulieren.
Speaker:Maksim: Wie konkret kann ich das machen, damit das Ziel dem Agenten immer klar ist und
Speaker:Maksim: dann nicht auf, jetzt wäre es so ein Beispiel mit, hey,
Speaker:Maksim: ich muss hier eine Entscheidung treffen, habe die Informationen dafür nicht,
Speaker:Maksim: habe aber das trotzdem irgendwie ein Ziel vor Augen und dann kann ganz schnell
Speaker:Maksim: so ein agentischer Workflow falsch abbiegen.
Speaker:Maksim: Da habe ich persönlich ganz gern, dass dann der Agent so gepromptet ist,
Speaker:Maksim: dass er erkennt, puh, das ist jetzt hier eine kritische Weiche,
Speaker:Maksim: da möchte ich bitte mit meinem Auftraggeber kommunizieren.
Speaker:Maksim: So wie es ja auch ein Mitarbeiter oder ein Mensch ein Kollege macht wenn der dann merkt, hey ich
Speaker:Maksim: Könnte jetzt hier eine Entscheidung treffen aber ich weiß nicht welche die richtige
Speaker:Maksim: ist weil ich nicht weiß worauf es dem Theo ankommt dann kommt der ja auch zu dir und so
Speaker:Maksim: habe ich das gern bei den agentischen Workflows vielleicht kannst du mir und
Speaker:Maksim: dem Publikum mal erklären wie du überhaupt erstmal mit der Zieldefinition anfängst
Speaker:Maksim: weil da liegt ja der Hund begraben
Speaker:Theo: Vielleicht allein schon dadurch, also ich investiere da sehr viel Mühe drauf.
Speaker:Theo: Das heißt auch bei den und insbesondere bei den agentischen Workflows,
Speaker:Theo: die dann sehr autonom arbeiten sollen, ich verbringe da gerne mal eine halbe
Speaker:Theo: Stunde, um nur mal dieses Zielbild zu definieren und auch den Kontext zu schaffen.
Speaker:Theo: Also nicht nur die Prompt, weil am Ende sind wir uns ehrlich,
Speaker:Theo: wie dann am Ende eine Word-Datei genau zu formatieren und so weiter ist,
Speaker:Theo: das ist alles entweder eh zentral spezifiziert oder die Modelle machen es besser als ich.
Speaker:Theo: Aber wo möchte ich eben hin und was ist der konkrete Kontext dazu?
Speaker:Theo: Also wenn man jemandem eine Aufgabe wie bei einem Menschen auch gibt und die
Speaker:Theo: Hälfte an relevanter Kontextinformationen weglässt, dann braucht man sich nicht
Speaker:Theo: wundern, wenn die Person dann auch nicht klarkommt mit einer Aufgabe.
Speaker:Theo: Das heißt, ich lade da alles an Dokumenten mit rein, an Transkripten,
Speaker:Theo: an Gesprächsnotizen und die Gedanken, die ich mir gemacht habe,
Speaker:Theo: auch bei den Dingen, wo ich mir unsicher bin.
Speaker:Theo: Also wenn ich zum Beispiel eine Idee habe für, okay, die Variante,
Speaker:Theo: die könnte man vielleicht so machen oder so oder so.
Speaker:Theo: Dann gebe ich dem Agenten schon mal das quasi als Startpunkt für seine weiteren Überlegungen mit.
Speaker:Maksim: Das bedeutet dann aber anknüpfend an das, was wir letztes Mal besprochen haben,
Speaker:Maksim: diese ganzen, du sitzt im Auto und machst einen Braindump, oder beim Joggen
Speaker:Maksim: kommt dir ein Gedanke und du diktierst das schnell in dein Handy.
Speaker:Maksim: Gibst du denen dann halt alles als Paket?
Speaker:Theo: Ja.
Speaker:Maksim: Mit der Aufgabe kannst nachschauen, musst aber nicht. Entscheide du,
Speaker:Maksim: welche Informationen du dir rausfischen willst, so ungefähr?
Speaker:Theo: Als ersten Step, ja genau. Also sozusagen, wenn man jetzt in Bögen denkt,
Speaker:Theo: erst mal Informationsaufladung, so wie wir das ja bei den Prompt-Trees schon
Speaker:Theo: immer machen. Also ein erster Step ist ja gerne mal, dass du die Prompt-Chain
Speaker:Theo: auflädst mit Informationen.
Speaker:Theo: Dann geht es in die Arbeit und dann ins Extern entweder verwursten,
Speaker:Theo: ausgeben, über die API rausgeben oder so weiter.
Speaker:Theo: Und genau da der gleiche Step. Das heißt, auch heute Morgen erst passiert,
Speaker:Theo: eine halbe Stunde im Auto, ein Prompt, Braindump, in die Haley reingekippt.
Speaker:Theo: Und dann besteht der erste Step darin, dass die nicht die Aufgabe sofort erledigt,
Speaker:Theo: sondern sich erstmal orientiert. Also so eine klassische Prompt von mir ist
Speaker:Theo: dann, okay, du orientierst dich jetzt in die Unterlagen und machst dir einen Plan.
Speaker:Theo: Und dann reden wir erstmal bitte über den Plan.
Speaker:Maksim: Das wollte ich dich auch gerade fragen.
Speaker:Theo: Ob du das richtig verstanden hast.
Speaker:Maksim: Diese Zieldefinition, die machst du nicht alleine, sondern da denkst du bereits
Speaker:Maksim: mit dem KI-Agenten drüber nach.
Speaker:Theo: Genau, genau. Und dann kommen ja wieder Punkte auch auf, wo ich dann merke,
Speaker:Theo: so hoppla, das ist jetzt ein Black Spot, den ich noch gar nicht bedacht habe.
Speaker:Theo: Dauert eine Minute, dann hat man sich auch dazu Gedanken gemacht.
Speaker:Theo: Und dann ist sozusagen nicht nur das Zielbild klar, sondern auch die Strategie
Speaker:Theo: und die Taktik und dann kann man irgendwann sagen, okay, der Plan steht, go, jetzt setzt es um.
Speaker:Theo: Egal, ob das dann das Bauen von einer App ist oder von einem Vertrag oder von
Speaker:Theo: einem Visual oder oder oder. Das ist eigentlich immer das gleiche Pattern.
Speaker:Maksim: Wie anstrengend findest du, ist das? Weil ich glaube, das ist der Teil,
Speaker:Maksim: den viele Leute dann zu wenig machen oder gar nicht machen und dann sich über
Speaker:Maksim: die agentischen Ergebnisse ärgern.
Speaker:Maksim: Also ich empfinde das als mühsam. Notwendig, aber sehr mühsam. Wie geht es dir?
Speaker:Theo: Naja, wenn man sich einigermaßen in der Thematik auskennt, dann ist es natürlich leichter.
Speaker:Theo: Vielleicht ist es dann auch so die Erwartungshaltung, dass man jetzt davon ausgeht,
Speaker:Theo: ja, ja, passt, du delegierst das komplett, wird schon flutschen.
Speaker:Theo: Also ich habe nicht die Erwartungshaltung, dass ich leicht eine Aufgabe formulieren
Speaker:Theo: kann, egal ob gegenüber Mensch oder KI-Agent, wenn ich mich selber erst in das
Speaker:Theo: Thema einarbeiten muss.
Speaker:Theo: Also gerade so das Thema Normencompliance ist ja bei uns momentan auch in der
Speaker:Theo: Firma so ein Thema wo ich eine super starke Lernkurve auch hatte,
Speaker:Theo: und mittlerweile tatsächlich den dritten Anlauf unternehme um das Thema für
Speaker:Theo: uns intern in der Firma zu lösen und quasi auch ich selbst iteriere und von
Speaker:Theo: Mal zu Mal schlauer werde um das Thema jetzt mittlerweile habe ich ein gutes Gefühl,
Speaker:Theo: immer immer besser zu adressieren also meine Specs an den Agenten werden halt
Speaker:Theo: auch immer konkreter Mhm.
Speaker:Maksim: Das heißt, du hast für dich quasi so ein mentales Bild erarbeitet des Zieldefinitionsprozesses
Speaker:Maksim: und auch, wie sieht ein Ziel aus?
Speaker:Maksim: Hast du das schon mal in deiner Schulung mit den Leuten gemacht?
Speaker:Maksim: Also im Prinzip, woran erkennt man, ist das jetzt ein Ziel, womit man einen
Speaker:Maksim: Agenten auf die Reise schicken kann?
Speaker:Theo: Es ist tatsächlich für die meisten sehr, sehr schwer. Also es ist so dieses
Speaker:Theo: klassische Beraterthema, das
Speaker:Theo: wir beide ja auch schon seit den ersten Tagen in der Firma erlebt haben.
Speaker:Theo: Die Leute sind total aufgeschlossen, aber die wissen gar nicht,
Speaker:Theo: was einen interessiert.
Speaker:Theo: Braindumpen sich total aus dir gegenüber und du musst dann eigentlich die Pieces rausfischen.
Speaker:Theo: Und was ich dann mache, ich moderiere das schon auch als Mensch,
Speaker:Theo: lasse die Transkription mitlaufen und habe währenddessen die richtigen Fragen
Speaker:Theo: gestellt, damit eine KI am Ende dann die Akzeptanzkriterien aus dem Transkript rausfischen kann.
Speaker:Theo: Aber ich nehme da schon wahr, das fällt vielen schwer.
Speaker:Maksim: Was bedeutet das denn dann eigentlich für den Nutzen von agentischen Systemen,
Speaker:Maksim: für, sage ich mal, die Nicht-Berater-Style-Leute?
Speaker:Theo: Also ich habe da ein totales Service-Modell im Kopf, dass es eben nicht so leider
Speaker:Theo: dieses hyperdemokratisierte ist, dass alle sind gleich und haben quasi die superpotenten Rechte, um,
Speaker:Theo: weiß der Teufel was zu tun, sondern für mich ist echt nach wie vor so eine Zwei-Klassen-Gesellschaft.
Speaker:Theo: Es gibt die, die kennen sich total gut aus in dem Prozess und die bauen dann,
Speaker:Theo: egal ob das ein Chatbot, ein agentisches System, eine Rack-Pipeline ist und
Speaker:Theo: dann gibt es die Konsumenten,
Speaker:Theo: die innerhalb dieser gesteckten Grenzen operieren können, weil für alles andere,
Speaker:Theo: das ist zu anstrengend, wie du ja sagst.
Speaker:Maksim: Das ist zumindest aber was, was mich beschäftigt. Was sind die Dinge, die...
Speaker:Maksim: Die manchen Leuten fehlen oder was sind die Voraussetzungen sozusagen die human
Speaker:Maksim: requirements nicht die system requirements um mit einem agenten oder einem agentischen
Speaker:Maksim: system in einer bestimmten Domäne
Speaker:Maksim: gut produktiv zu sein weil ich frage mich das so wie wenn du Web Apps baust
Speaker:Maksim: also ich meine sowas wie Cloud Code oder verwandte Systeme und auch auf Valerium
Speaker:Maksim: wenn ich da kurz schamlose Eigenwerbung mache du sagst hey ich brauche eine
Speaker:Maksim: App die dies und das und das macht und dann
Speaker:Maksim: hast du sie paar Minuten später
Speaker:Maksim: Trotzdem ist das irgendwie was, was den Leuten, die sich nicht mit Web-Apps
Speaker:Maksim: halbwegs auskennen, wahnsinnig schwerfällt, dann kohärent zu formulieren oder
Speaker:Maksim: einfach ein gutes Ergebnis rauszukriegen.
Speaker:Maksim: Und da würde ich vielleicht gerne in einer zukünftigen Podcast-Folge mit dir eintauchen wollen.
Speaker:Maksim: Woran liegt das und was sind sozusagen die Make-it-or-Break-it-Sachen da?
Speaker:Maksim: Also das ist nämlich ein Thema, was mich beschäftigt, weil eigentlich müsste
Speaker:Maksim: ja jeder alles können, aber so ist es nicht.
Speaker:Theo: Ja, ja, ja. Ja, lass uns das gerne aufmachen. Also vor allem,
Speaker:Theo: was mir da gerade als Beispiel kommt, du hast gerade Coding erwähnt, aber auch Slides bauen.
Speaker:Theo: Ja. Und ich hatte erst letzte Woche genau das Thema und kriege dann als Feedback
Speaker:Theo: über den Chat so, ja okay, Theo, du hast jetzt gerade nochmal deine Hayley drüber
Speaker:Theo: laufen lassen und jetzt sieht es auf einmal viel ordentlich und klarer und strukturierter aus.
Speaker:Theo: Und dann denke ich mir also, was zum Teufel passiert da? Ich habe doch gar nichts anderes gemacht.
Speaker:Maksim: Genau.
Speaker:Theo: Und habe dann am Ende irgendwie die Vermutung, aber lass uns das gerne mal aufmachen.
Speaker:Theo: Ich habe dem Bot eigentlich nur gesagt so, Eine Message pro Slide.
Speaker:Theo: Weißt du, wie ich meine? Also eine Aussage pro Slide. Nicht fünf, sondern eine.
Speaker:Theo: Und vielleicht sind es dann so einfache Kochrezepte oder ich weiß nicht.
Speaker:Theo: Aber lass uns das gerne mal zerlegen, auch je nach Domäne.
Speaker:Maksim: Ja, sehr gerne. Also stay tuned, Leute. Ich habe keine weiteren Fragen mitgebracht.
Speaker:Maksim: Möchtest du noch irgendwas ergänzen?
Speaker:Theo: Nächste Folge mit Camilla, da tauchen wir im One-on-One total tief ein in die
Speaker:Theo: Fragestellung KI in der Wirtschaftsprüferei,
Speaker:Theo: was ja erstmal wie ein Widerspruch klingt, weil wenn jemand genau und verlässlich
Speaker:Theo: und absolut wasserdicht arbeiten sollte, dann sind das Wirtschaftsprüfer.
Speaker:Theo: Aber das finde ich total spannend, weil das ist eine Industrie,
Speaker:Theo: da bewegt sich momentan total viel mit KI und Camilla ist eine ausgewöhnliche
Speaker:Theo: Persönlichkeit, sollte man sich reinziehen.
Speaker:Maksim: Ich freue mich auf die Folge.
Speaker:Theo: Bis dann, Maxim.
Speaker:Maksim: Bis dann, Theo.
