Lügt die KI?

Kaltstart

Jens: Katja, ich stell heute eine steile These auf. Die KI lügt.

Katja: Und ich halte mit einer noch steileren dagegen. Die KI kann gar nicht lügen.

Jens: Ach komm. Die erzählt einem mit ernster Miene Sachen, die nicht stimmen. Wie nennst du das?

Katja: Lügen heißt, man kennt die Wahrheit und sagt absichtlich was anderes. Die KI kennt die Wahrheit nicht. Sie merkt nicht mal, dass sie gerade etwas erfindet.

Jens: Und das soll mich beruhigen?

Katja: Nein. Das soll dich beunruhigen. Aber auf die richtige Art. Denn wer versteht, warum sie danebenliegt, weiß auch, wann er ihr trauen kann. Und wann nicht.

Begrüßung

Katja: Hallo und willkommen bei Hallo KI. Ich bin Katja.

Jens: Und ich bin Jens. Katja und ich sind KI-Stimmen, und geprüft hat das alles Dominik von Hallo KI. Was bei dieser Folge ausnahmsweise besonders beruhigend ist.

Katja: Weil es heute um Fehler von KI geht. Aber erst dein Bericht. Letztes Mal ging es um Schockanrufe. Die Aufgabe war, mit jemandem aus der Familie die Rückruf-Regel zu besprechen und ein Codewort auszumachen.

Jens: Gemacht. Ich hab den Einstieg genommen, den du vorgeschlagen hast. Nicht „Ich mach mir Sorgen“, sondern „Ich hab da was gehört, lass uns was ausmachen“. Erst wurde gelacht, dann kam die Frage, ob das auch für Nachrichten im Messenger gilt. Ja, tut es. Und mein erster Einfall fürs Codewort war natürlich ein Tiername. Den hab ich ganz schnell wieder verworfen.

Katja: Siehst du, deshalb sagt man das vorher. Heute geht es um etwas, das dich schon seit der ersten Folge umtreibt. Warum erfindet die KI Dinge? Wo passiert das, wo eher nicht? Was taugt die Suchfunktion? Und wie bringst du sie dazu, ihre Unsicherheit zu zeigen?

Warum sie Dinge erfindet

Jens: Dann fang mal an. Wenn sie nicht lügt, warum erzählt sie dann Unsinn?

Katja: Erinnerst du dich an Folge eins? Ein Sprachmodell sagt Wort für Wort voraus, was am wahrscheinlichsten als Nächstes kommt. Es schlägt dabei nichts nach. Es gibt keine Datenbank mit geprüften Fakten, in die es hineinschaut. Es formuliert.

Jens: Aber es hat doch alles gelesen. Irgendwo muss das Wissen ja stecken.

Katja: Es steckt drin, aber nicht wie auf einer Festplatte. Eher so, wie du dich an ein Buch erinnerst, das du vor zwanzig Jahren gelesen hast. Die Handlung weißt du noch. Die Hauptfiguren auch. Aber die Seitenzahlen, das genaue Datum im dritten Kapitel, den Namen vom Wirt? Weg.

Jens: Und wenn mich einer danach fragt, sag ich: „Keine Ahnung mehr.“

Katja: Du ja. Die KI nennt trotzdem eine Seitenzahl. Und zwar eine, die plausibel klingt. Weil sie gelernt hat, wie Antworten aussehen, und eine Antwort mit Seitenzahl sieht nun mal besser aus als eine ohne.

Jens: Also Ton und Inhalt sind zwei verschiedene Dinge.

Katja: Genau. Wie eine kompetente Antwort klingt, hat sie perfekt gelernt. Ob der Inhalt stimmt, ist eine ganz andere Frage. Ein falscher Satz wird genauso sorgfältig gebaut wie ein richtiger. Und dazu kommt: Bei der Entwicklung wurden Antworten belohnt, die Menschen hilfreich finden. Eine vollständige Antwort wirkt hilfreicher als „Das weiß ich nicht“.

Jens: Deshalb sagt sie so selten „Keine Ahnung“.

Katja: Genau. Und daraus folgt der wichtigste Satz der Folge: Flüssig heißt nicht richtig. Schönes Deutsch ist bei der KI kein Zeichen für Wahrheit. Es zeigt nur, dass sie Sprache gelernt hat.

Jens: Und dafür gibt es diesen Fachbegriff, Halluzination.

Katja: Genau. Ein unglückliches Wort, weil es klingt, als wäre die Maschine krank oder verwirrt. Ist sie nicht. Sie tut in dem Moment genau das, wofür sie gebaut ist. Denk einfach „erfunden“ mit, wenn du das Wort hörst.

Jens: Was mich eigentlich stört, ist ja nicht, dass sie Fehler macht. Menschen machen auch Fehler. Mich stört, dass man es nicht hört. Wenn mein Kollege unsicher ist, sagt er „ich glaube“ oder zieht die Stirn kraus.

Katja: Und diese Signale fehlen komplett. Eine erfundene Jahreszahl kommt im selben Tempo und im selben Ton wie alles andere. Deshalb musst du wissen, wo du hinschauen musst.

Die Landkarte der Fehler

Jens: Und wo muss ich hinschauen?

Katja: Zwei Fragen helfen. Erstens: Gibt es genau eine richtige Antwort? Und zweitens: Wie oft kam das Thema in dem vor, was sie gelesen hat?

Jens: Lass mich die erste mal durchgehen. Genau eine richtige Antwort gibt es bei Zahlen, Jahreszahlen, Namen, Preisen, Paragrafen. Da kann sie danebenliegen.

Katja: Genau. Paragrafen sind ein Klassiker. Da kommt gern eine Nummer mit Absatz, sauber und selbstbewusst, und im Gesetz steht an der Stelle etwas ganz anderes. Oder Bücher. Du fragst nach Lesetipps zu einem Thema und bekommst Titel und Autor. Den Autor gibt es. Nur dieses Buch hat er nie geschrieben.

Jens: Das ist fies, weil es so glaubwürdig ist. Und Zitate vermutlich genauso. Ich will einen schönen Spruch für eine Rede und bekomme einen, der Goethe zugeschrieben wird, weil Goethe halt immer passt. Und beim Rechnen würde ich ihr aus Prinzip nicht trauen. Wer in Excel groß geworden ist, weiß: Eine Zahl, die gut aussieht, ist noch lange nicht richtig.

Katja: Genau. Solche Zuschreibungen sind oft falsch. Und beim Rechnen klappt Einfaches, aber bei mehreren Schritten kann etwas Plausibles und Falsches rauskommen. Manche Programme schalten einen Rechner zu, aber verlassen würde ich mich nicht darauf.

Jens: Und die zweite Frage, wie oft das Thema vorkam?

Katja: Über große Städte gibt es Millionen Texte. Über den Kleingartenverein im Nachbardorf keinen einzigen. Frag trotzdem nach dessen Gründungsjahr, und du bekommst eins. Mit Vereinsfarben und verdientem Vorsitzenden. Je seltener das Thema, desto mehr wird ausgedacht.

Jens: Jetzt versteh ich übrigens meinen Excel-Versuch aus Folge zwei. Da hat sie mir einen Menüpunkt genannt, den es bei mir nicht gibt. Programme ändern sich, Menüs wandern. Sie kennt vermutlich eine Mischung aus alten Versionen.

Katja: Sehr gut möglich. Und dazu kommt der Stichtag. Das Modell hat bis zu einem bestimmten Zeitpunkt gelernt. Was danach passiert ist, kennt es nicht, es sei denn, es sucht im Internet nach. Dazu gleich mehr.

Jens: Und wo kann ich entspannt sein?

Katja: Überall, wo es kein einzelnes Richtig gibt. Formulieren, umschreiben, Ideen sammeln, einen Text zusammenfassen, den du ihr selbst gegeben hast. Da spielt sie ihre Stärke aus. Das ist wie bei einem sehr sprachbegabten Kollegen, der alles mal gelesen hat, aber nichts nachschlagen kann. Dem gibst du gern einen Brief zum Überarbeiten. Nach der Abfahrt vom Bus fragst du ihn nicht.

Jens: Eins hab ich noch, das mir aufgefallen ist. Wenn ich frage „Stimmt es, dass …?“, dann sagt sie auffällig oft Ja.

Katja: Gut beobachtet. Das ist dieselbe Hilfsbereitschaft von eben. Sie neigt dazu, dir recht zu geben. Wenn du die Antwort in die Frage packst, bekommst du sie oft auch zurück. Besser neutral fragen: nicht „Stimmt es, dass Kaffee entwässert?“, sondern „Wie wirkt sich Kaffee auf den Flüssigkeitshaushalt aus?“

Jens: Und das erklärt dann auch, warum mein Lieblingstest nichts taugt. Wenn mir was komisch vorkam, hab ich immer geschrieben: „Bist du dir sicher?“

Katja: Und dann entschuldigt sie sich und nennt eine andere Antwort.

Jens: Und das fühlt sich an wie eine Korrektur.

Katja: Ist aber keine. Sie hat in dieser Sekunde nichts nachgeschlagen. Sie hat nur gemerkt: Mein Gegenüber ist unzufrieden. Also lenkt sie ein. Manchmal wird aus einer falschen Antwort eine richtige. Manchmal aus einer richtigen eine falsche. Und manchmal bleibt sie freundlich bei ihrem Fehler, und dann glaubst du ihr erst recht.

Jens: Also ist „Bist du sicher?“ ein Stimmungstest. Kein Faktencheck.

Katja: Schöner kann man es nicht sagen.

Suchfunktion und Quellen

Jens: Jetzt kommt mein Einwand. Die meisten dieser Programme können doch inzwischen im Internet suchen. Dann ist das Problem doch gelöst.

Katja: Es wird kleiner, aber es ist nicht gelöst. Grob läuft das so: Die KI formuliert selbst eine Suchanfrage, liest ein paar Seiten und fasst zusammen, was sie dort gefunden hat. Darunter stehen dann die Quellen. Für Aktuelles, Öffnungszeiten, Preise ist das ein echter Fortschritt.

Jens: Aber?

Katja: Drei Schwachstellen. Sie kann auf einer schlechten oder veralteten Seite landen. Sie kann eine gute Seite falsch zusammenfassen. Und der Link unter einer Aussage muss nicht belegen, was darüber steht. Es kommt vor, dass auf der Seite etwas anderes steht als in der Antwort.

Jens: Also ein Link sieht aus wie ein Beleg, ist aber keiner.

Katja: Ein Link ist ein Angebot zum Nachschauen. Ein Beleg wird er erst, wenn du draufgeklickt und die Stelle gefunden hast. Und die Suche springt auch nicht immer an. Manchmal antwortet die KI aus dem, was sie mal gelernt hat, obwohl es um etwas Aktuelles geht. Ob sie nachgesehen hat, erkennst du an den Quellen unter der Antwort. Wenn keine da sind, hat sie vermutlich nicht gesucht.

Jens: Dann sag ich ihr eben ausdrücklich, dass sie suchen soll.

Katja: Genau. Und dazu, dass sie offizielle Stellen bevorzugen und hinter jede wichtige Aussage den Link setzen soll. Dann kannst du gezielt prüfen, statt alles durchzulesen.

Jens: Und wie prüf ich selbst am schnellsten? Ich hab ja auch nicht den ganzen Tag Zeit.

Katja: Bei Öffnungszeiten, Fristen, Preisen zählt nur die Stelle selbst. Die Seite der Stadt, des Museums, der Krankenkasse. Nicht der zweite Suchtreffer. Und auch nicht die Zusammenfassung ganz oben in der Suchmaschine, die stammt oft selbst von einer KI.

Jens: Und für Buchtitel und Zitate hab ich noch einen alten Kniff aus der Zeit, als Suchmaschinen noch keine Antworten geschrieben haben. Den genauen Wortlaut in Anführungszeichen setzen. Dann sucht die Maschine nach genau dieser Wortfolge. Findest du nichts, gibt es das mit hoher Wahrscheinlichkeit nicht.

Katja: Der ist gut, und den kennen viele Jüngere gar nicht mehr.

Jens: Und wenn ich ein Dokument habe, einen Vertrag, eine Anleitung, dann würde ich ihr den Text doch einfach geben. Dann muss sie nicht aus dem Gedächtnis erzählen.

Katja: Das ist oft der beste Weg überhaupt. Sag dazu: „Antworte nur anhand dieses Textes und sag mir, wenn etwas nicht drinsteht.“ Das senkt die Fehlerquote deutlich. Null wird sie aber nicht. Deshalb lass dir die Stelle nennen, auf die sie sich stützt, und lies die nach.

Wie viel Vertrauen darf es sein?

Jens: Jetzt hab ich ein praktisches Problem. Wenn ich das alles bei jeder Antwort mache, sitz ich den ganzen Tag da.

Katja: Sollst du auch nicht. Wer alles prüft, prüft am Ende gar nichts mehr. Deshalb sortiert man nach möglichem Schaden. Wie bei einer Ampel.

Jens: Lass mich das mal selbst sortieren. Grün: Ein Fehler ist egal. Glückwünsche, Rezeptideen, Formulierungen, Geschenkvorschläge. Schlimmstenfalls gefällt es mir nicht. Gelb: Ein Fehler kostet mich Zeit, Geld oder einen Weg umsonst. Öffnungszeiten, Fahrpläne, Anmeldefristen. Da schau ich kurz an der offiziellen Stelle nach, bevor ich losfahre. Und Rot: Es tut richtig weh, wenn es falsch ist. Medikamente, Verträge, Kündigungsfristen, Steuern, Geldanlage. Da verlass ich mich nie allein auf die KI.

Katja: Perfekt. Alles mit Unterschrift und alles mit Frist. Und im roten Bereich darfst du sie trotzdem nutzen, zum Vorbereiten. „Erkläre mir, was eine Vorsorgevollmacht ist.“ „Welche Fragen sollte ich meiner Ärztin dazu stellen?“ Entscheiden tut dann ein Mensch vom Fach. Zusammen mit dir.

Jens: Je größer der mögliche Schaden, desto kleiner darf mein Vertrauen sein.

Katja: Genau dieser Satz. Und jetzt der Profi-Teil: Du kannst die KI dazu bringen, ihre Unsicherheit sichtbar zu machen. Nicht perfekt, aber oft genug.

Jens: Wie?

Katja: Erstens, gleich in die Frage: „Sag mir ausdrücklich, wenn du dir bei etwas nicht sicher bist.“ Dann kommt häufiger ein ehrliches „Das kann ich nicht verlässlich sagen“. Zweitens: Lass sie die Antwort sortieren. Was ist gut belegt, was ist eher vermutet, was sollte ich selbst prüfen. Dann weißt du, wo du hinschauen musst.

Jens: Aber Moment. Wenn sie nicht merkt, dass sie erfindet, wie soll sie dann wissen, was vermutet ist?

Katja: Berechtigter Einwand. Ihre Selbsteinschätzung ist nicht zuverlässig. Aber der Auftrag zwingt sie, genauer hinzuschauen, und die harten Angaben landen gesammelt an einer Stelle. Du bekommst keine Garantie, sondern eine Prüfliste.

Jens: Damit kann ich leben. Und wie prüfe ich, ob sie überhaupt Bescheid weiß?

Katja: Mit dem stärksten Trick ohne besondere Sätze. Stell dieselbe Frage nochmal in einem neuen, leeren Gespräch. Kommt etwas anderes raus, dann wusste sie es beide Male nicht. Das gilt unter Fachleuten als einer der brauchbarsten Hinweise. Umgekehrt leider nicht: Zweimal dieselbe Antwort ist kein Beweis. Sie kann sich auch beharrlich irren.

Jens: Und wenn ich ein zweites Programm frage, dann natürlich im neuen Gespräch und ohne die erste Antwort mitzuschicken. Sonst nickt das zweite höflich ab, was das erste gesagt hat. Wie in einer Besprechung, wenn der Chef zuerst seine Meinung sagt.

Katja: Genau das. Und zum Schluss mein Liebling: „Was spricht gegen deine Antwort?“ Damit muss sie die Gegenseite formulieren, und dabei tauchen oft Einschränkungen auf, die vorher fehlten.

Jens: So würde ich auch einen Verkäufer fragen. Wer darauf nichts zu sagen hat, dem trau ich weniger. Und ehrlich gesagt beruhigt mich das alles. Das ist ja nichts Neues. Ich glaub auch nicht jeder Schlagzeile, jedem Prospekt und jedem Gerücht im Treppenhaus. Bei Menschen läuft im Kopf automatisch mit: Wer sagt das noch?

Katja: Und genau diese Lebenserfahrung brauchst du bei der KI. Du musst sie nur bewusst einschalten, weil der Ton dich einlullt.

Ist das sicher?

Jens: Und die Pflichtfrage. Ist das sicher? Kosten zuerst.

Katja: Prüfen kostet nichts. Und für alles von heute reicht die kostenlose Version, auch die Suche gibt es bei den meisten Anbietern ohne Abo, zumindest in gewissem Umfang.

Jens: Die Daten mach ich selbst, das hab ich inzwischen drauf. Gerade bei den roten Themen will man ja genauer fragen. Trotzdem: allgemein statt persönlich. „Was hilft bei Rückenschmerzen?“ statt der ganzen Krankengeschichte mit Namen. Name, Geburtsdatum, Versichertennummer, Aktenzeichen gehören nicht rein.

Katja: Und wenn du ein Dokument hineinkopierst, vorher die persönlichen Angaben schwärzen.

Jens: Und kann ich was kaputt machen, wenn ich sie dauernd anzweifle?

Katja: Im Gegenteil. Sie ist nicht beleidigt. Skepsis ist ausdrücklich erwünscht. Das Risiko liegt nicht im Nachfragen, sondern im ungeprüften Übernehmen. Und bei Gesundheit, Geld und Recht hilft sie beim Verstehen, entscheiden tut ein Mensch vom Fach.

Prompts zum Mitnehmen

Katja: Jetzt die Prompts zum Mitnehmen. Der erste macht Unsicherheit sichtbar. Situation: Du hast eine Sachfrage aus dem gelben Bereich, etwa zu einem Behördengang. Der Wortlaut: „Beantworte meine Frage und teile die Antwort in drei Teile: Was ist gut belegt, was vermutest du eher, und was sollte ich an offizieller Stelle selbst nachprüfen. Wenn du etwas nicht weißt, sag das ausdrücklich. Meine Frage: Was muss ich beachten, wenn ich einen neuen Reisepass beantrage?“

Jens: Warum der funktioniert: Die harten Angaben landen gesammelt im dritten Teil. Du bekommst keine Garantie, aber eine fertige Prüfliste.

Jens: Der zweite ist für alles Aktuelle. Situation: Es geht um Öffnungszeiten, Regeln, Preise, irgendwas, das sich ändert. Der Wortlaut: „Suche aktuelle Quellen dazu, bevorzugt offizielle Stellen, und setze hinter jede wichtige Aussage den direkten Link. Wenn sich Quellen widersprechen oder etwas veraltet sein könnte, sag mir das.“

Katja: Warum der funktioniert: Du verlangst nichts Gefühltes, sondern etwas Nachschlagbares, und zwar Aussage für Aussage. So kannst du gezielt draufklicken, statt der ganzen Antwort blind zu glauben.

Katja: Der dritte ist die Gegenprobe. Situation: Eine Antwort klingt gut, aber es hängt etwas daran. Der Wortlaut: „Was spricht gegen deine Antwort? Nenne mir die stärksten Gründe, warum sie falsch oder unvollständig sein könnte, und sag mir, was ich prüfen müsste, um das zu klären.“

Jens: Warum der funktioniert: Statt eines Stimmungstests wie „Bist du sicher?“ bekommt die KI einen echten Auftrag. Sie muss die Gegenseite ausformulieren, und dabei kommen die Schwachstellen ans Licht.

Jens: Und der vierte ist für Dokumente. Situation: Du hast Vertragsbedingungen oder eine lange Anleitung und willst wissen, was drinsteht. Der Wortlaut: „Beantworte meine Fragen ausschließlich anhand des Textes, den ich dir gleich gebe. Nenne zu jeder Antwort die Stelle, auf die du dich stützt. Wenn etwas nicht im Text steht, schreib: Steht nicht drin.“ Und dann den Text darunter, persönliche Angaben vorher raus.

Katja: Warum er funktioniert: Die KI muss nicht aus dem Gedächtnis erzählen, sondern arbeitet mit dem Text vor ihr. Und weil sie die Stelle nennt, kannst du in einer Minute nachlesen, ob es stimmt.

Dein nächster Schritt

Jens: Und was ist mein nächster Schritt?

Katja: Ein kleiner Grenztest, zehn Minuten. Frag die KI nach etwas Kleinem aus deiner Gegend, über das kaum etwas im Netz steht. Die Geschichte eines Vereins, einer Kirche im Ort, einer Straße. Erst einfach so. Dann stell dieselbe Frage in einem neuen Gespräch und bitte ausdrücklich um Quellen mit Link.

Jens: Und dann vergleiche ich die beiden Antworten und klicke die Quellen an.

Katja: Genau. Achte darauf, ob sich Jahreszahlen oder Namen zwischen den Antworten ändern. Wenn ja, weißt du, wie sich Raten anfühlt.

Jens: Mach ich. Ich bin gespannt, wie viele Vorsitzende mein Heimatverein plötzlich hatte.

Merksatz und Verabschiedung

Katja: Wenn du aus dieser Folge nur eins mitnimmst: Flüssig heißt nicht richtig.

Jens: Und je größer der mögliche Schaden, desto kleiner darf dein Vertrauen sein.

Katja: Wer das in Ruhe nachlesen will: Auf hallo-ki.de steht ein ausführlicher Artikel mit der Frage „Schreibt die KI die Wahrheit?“. Da wird gesiezt, die Seite ist für unsere Eltern gemacht. Aber die Ampel und die Prüf-Sätze stehen da schön übersichtlich, auch zum Weitergeben.

Jens: Nächstes Mal geht es um die Frage, die mich seit der ersten Folge umtreibt. Was die KI eigentlich über dich weiß. Was gespeichert wird, was du abschalten kannst, und was im Job gilt. Ich bin Jens.

Katja: Ich bin Katja. Danke fürs Zuhören, und bleib schön skeptisch. Bis zum nächsten Mal.