Über künstliche und natürliche Personen

Episode 108 ist ein Werkstattbericht. Alex hat sich im Rahmen einer Recherche intensiver mit dem ELIZA-Effekt, Large Language Models und der Frage beschäftigt, wie sich stoische Begriffe auf moderne KI-Systeme übertragen lassen. Im Dialog mit Anne entsteht diesmal kein fertiger Vortrag, sondern ein Gespräch, in dem sich die Gedanken im Austausch entwickeln und auch offene Fragen ausdrücklich offenbleiben.

Der Ausgangspunkt ist eine Beobachtung, die vielen Menschen inzwischen vertraut sein dürfte: Wir sprechen über KI-Systeme häufig so, als wären sie Personen. Wir sagen, dass wir mit ChatGPT, Claude oder Gemini gesprochen haben. Wir erzählen, die KI habe etwas verstanden, uns geholfen oder einen guten Rat gegeben. Die technische Operation – einen Text in ein System einzugeben und eine Antwort zu erhalten – tritt dabei in den Hintergrund. In unserer Wahrnehmung entsteht ein Gegenüber. Alex bezeichnet dieses Phänomen als ELIZA-Effekt.

Eliza Doolittle und Joseph Weizenbaums ELIZA

Der Begriff ELIZA-Effekt verweist zunächst auf Eliza Doolittle aus George Bernard Shaws Bühnenstück Pygmalion, das auch als Grundlage für My Fair Lady bekannt ist. Eliza verkauft in London Blumen und spricht mit dem Slang ihres sozialen Umfelds. Der Sprachprofessor Henry Higgins wettet, dass er ihr die Aussprache der Upper Class beibringen und sie dadurch in eine Gesellschaft einschleusen kann, in der niemand mehr erkennt, woher sie ursprünglich kommt.

Ihre Sprache verändert die Wahrnehmung ihrer Person. Weil sie auf eine bestimmte Weise spricht, wird sie einer anderen gesellschaftlichen Schicht zugeordnet. Die sprachliche Oberfläche erzeugt den Eindruck einer anderen Identität.

In den 1960er-Jahren griff der deutsch-amerikanische Computerwissenschaftler Joseph Weizenbaum diesen Gedanken in einem ganz anderen Zusammenhang auf. Er entwickelte das Programm ELIZA, das mit sprachlichen Mustern und Rückfragen eine Unterhaltung simulierte. Das System konnte bestimmte Äußerungen wiederholen, Fragen zurückgeben und dadurch einen einfachen Gesprächsfluss erzeugen.

Weizenbaum wollte untersuchen, wie Menschen auf ein solches System reagieren. Er war überrascht, wie schnell Nutzerinnen und Nutzer dem Programm Empathie und Verständnis zuschrieben. Seine Sekretärin schloss z. B. häufiger ihre Tür und unterhielt sich lang allein mit ELIZA. Das Programm war kein Mensch und hatte kein Bewusstsein. Trotzdem entstand in der Interaktion der Eindruck, dass hinter der sprachlichen Oberfläche eine Person stehe.

Von ELIZA zu ChatGPT, Claude und Gemini

Mehr als 60 Jahre später begegnet uns dieses Muster in einer technisch deutlich weiterentwickelten Form. Moderne Sprachmodelle reagieren flüssig, greifen Gesprächskontexte auf und formulieren Antworten, die oft persönlich, empathisch und situationsbezogen wirken.

Anne und Alex beobachten, dass Nutzerinnen und Nutzer auch heute nicht sagen: „Ich habe eine Textverarbeitungssoftware verwendet.“ Sie sagen: „Ich habe mit ChatGPT gesprochen.“ Das ist mehr als eine sprachliche Kleinigkeit. Es zeigt, dass wir die Interaktion qualitativ anders erleben als die Arbeit mit einem gewöhnlichen Werkzeug.

Auch Begriffe aus der Welt der KI werden häufig vermenschlicht. Menschen sprechen davon, dass Agenten ausgebrochen seien, Informationen bei einem Konkurrenten geholt hätten oder eigene Entscheidungen treffen würden. Die technische Beschreibung wird dadurch in eine soziale und personale Sprache übersetzt.

In der Psychologie lässt sich dieser Vorgang mit der Idee einer Theory of Mind verbinden: Wir schreiben einem Gegenüber Gedanken, Gefühle, Absichten und innere Zustände zu. Bei Menschen ist diese Zuschreibung ein wichtiger Bestandteil sozialer Wahrnehmung. Bei einem Sprachmodell kann sie jedoch zu einem falschen Bild von dem führen, was tatsächlich im System geschieht.

Der Irrtum als stoisches Problem

Anne bringt einen entscheidenden Gedanken ein: Der ELIZA-Effekt ist zunächst ein Irrtum. Menschen nehmen etwas wahr, bilden ein Urteil und handeln auf der Grundlage dieses Urteils. Wenn das Urteil falsch ist, ist auch die daraus entstehende Handlung nicht wirklich rational und tugendhaft – selbst wenn sie zufällig zu einem guten Ergebnis führt.

Daraus entsteht eine schwierige Frage: Wenn sich jemand schlecht fühlt, mit einer KI spricht und sich danach besser fühlt, kann daraus trotzdem etwas Gutes entstehen? Vielleicht geht die Person anschließend freundlicher mit der Nachbarin, der Kollegin oder dem Partner um. Ist der vorausgehende Irrtum dadurch weniger problematisch?

Alex weist darauf hin, dass eine ähnliche Schwierigkeit auch in menschlichen Gesprächen vorkommt. Wenn Anne und Alex sich gegenseitig in einer falschen Einschätzung bestärken, kann das Gespräch kurzfristig guttun und dennoch ein Fehlurteil stabilisieren. Nicht jeder Mensch ist weise. Ein positives Gefühl nach einem Gespräch ist daher noch kein Beleg dafür, dass der Rat oder die zugrunde liegende Einschätzung richtig war.

Anne präzisiert ihren eigenen Irrtum: Vielleicht besteht er gar nicht zuerst darin, die KI für einen Menschen zu halten. Vielleicht liegt er darin, dem System die Qualität eines guten und verlässlichen Ratgebers zuzuschreiben.

Mit wem sollten wir unsere Gedanken teilen?

Von hier aus führt das Gespräch zur stoischen Frage, mit wem wir unsere Gedanken und persönlichen Probleme teilen sollten. Die Stoiker betonen, dass die Menschen, mit denen wir regelmäßig sprechen, unseren Charakter beeinflussen. Im Gespräch wird Marc Aurels Gedanke aufgegriffen, dass die Farbe der eigenen Gedanken die Farbe des Charakters beziehungsweise der Seele prägt.

Wenn persönliche Probleme und psychologische Krisen zu den häufigsten Themen gehören, die Menschen in KI-Systeme eingeben, bekommt diese Frage eine neue Dringlichkeit. Es geht dann nicht mehr nur um Recherche, Übersetzung oder organisatorische Unterstützung. Es geht um Fragen, die Menschen sonst mit engen Freundinnen, Freunden, Therapeutinnen, Therapeuten oder Coaches besprechen würden.

Die stoische Freundschaftslehre ist anspruchsvoll. In einer strengen Fassung wäre Freundschaft nur mit einem Weisen möglich. Seneca schwächt diese Forderung ab: Es könne genügen, wenn Menschen zumindest gemeinsame Ziele verfolgen – insbesondere das Ziel, bessere Menschen zu werden.

Ein heutiges LLM hat jedoch keine eigene Weisheit, keinen Körper, keine Gefühle und kein phänomenologisches Bewusstsein. Es weiß nicht aus eigener Erfahrung, was es bedeutet, in einer menschlichen Situation zu leben. Es kann Wissen zusammenstellen und sprachlich zurückspiegeln. Es kann dadurch nützlich sein. Aber seine sprachliche Empathie ist nicht dasselbe wie erlebte Empathie.

Wie ein LLM vereinfacht beschrieben werden kann

Alex beschreibt die technische Seite bewusst vereinfacht. Ein Large Language Model basiert zunächst auf einem großen neuronalen Netz, das mit umfangreichen Textmengen trainiert wurde. Es lernt, aus einem gegebenen Textzusammenhang wahrscheinliche Fortsetzungen zu erzeugen.

Ein Foundation Model ist zunächst ein Rohmodell. Es kann Textmuster fortsetzen, ist aber noch kein vollständig ausgearbeitetes Gesprächssystem. Kontextfenster helfen dabei, eine Eingabe in einen größeren Zusammenhang einzuordnen. Durch Feintuning wird das Modell darauf ausgerichtet, auf Prompts in einer Weise zu reagieren, die für Nutzerinnen und Nutzer hilfreicher erscheint.

Danach kommen weitere Verfahren hinzu, die unter dem Begriff Alignment zusammengefasst werden können. Filter, Policies und Schutzmechanismen sollen verhindern, dass bestimmte Anfragen beantwortet werden, und die Antworten in gewünschte Bahnen lenken. Alex veranschaulicht das mit einer Anfrage nach der Organisation eines Banküberfalls: Ein verantwortungsvoll ausgerichtetes System soll eine solche illegale Anfrage nicht mit einer Anleitung beantworten.

Diese technische Beschreibung ist in der Folge vor allem ein Denkmodell. Sie soll helfen, die verschiedenen Ebenen zwischen Rohmodell, sprachlicher Ausgabe, Feinabstimmung und äußerer Steuerung sichtbar zu machen.

Zwei parallele Prozesse

Alex sieht eine mögliche strukturelle Ähnlichkeit zwischen der Verarbeitung in einem LLM und der stoischen Beschreibung menschlicher Wahrnehmung. Die Stoiker gehen davon aus, dass Menschen etwas wahrnehmen, diese Wahrnehmung im Hegemonikon sprachlich fassen und anschließend bewerten. Aus einem Eindruck wird ein Satz: „Da steht ein rotes Auto.“ Mit der sprachlichen Beschreibung können weitere Gefühle und Bewertungen verbunden sein: „Das fühlt sich gut an“ oder „Ich bin bedroht“.

Die stoische Arbeit besteht dann darin, die Begriffe, Bewertungen und Handlungsimpulse zu prüfen. Epiktets Disziplinen des Begehrens, des Handelns und der Zustimmung beschreiben unterschiedliche Aspekte dieser Arbeit. Wir sollen unsere Wünsche ordnen, sozial angemessen handeln und überprüfen, welchen sprachlichen und wertenden Beschreibungen wir überhaupt zustimmen.

Alex überträgt dieses Muster auf die Frage, wie KI-Systeme Antworten erzeugen und prüfen könnten. Der Vergleich behauptet nicht, dass eine KI menschlich wahrnimmt oder fühlt. Er fragt vielmehr, ob dieselbe Begrifflichkeit helfen kann, die Struktur eines technischen Systems genauer zu beschreiben.

Aisthesis, Hegemonikon, Oikeiosis und Prohairesis

Mehrere stoische Begriffe werden in der Folge als mögliche Übersetzungsbrücken verwendet:

  • Aisthesis: Wahrnehmung beziehungsweise das Aufnehmen eines Eindrucks.
  • Hegemonikon: das zentrale Vermögen, in dem Eindrücke verarbeitet und sprachlich gefasst werden.
  • Oikeiosis: der Prozess, in dem ein Wesen sich selbst und seine Beziehungen zur sozialen und kosmischen Umwelt zunehmend angemessen zuordnet.
  • Prohairesis: die Fähigkeit, Vorstellungen und Handlungsimpulse zu prüfen, Zustimmung zu geben oder sie zurückzuweisen.
  • Homologia: die Übereinstimmung des eigenen Lebens mit der eigenen Natur, der sozialen Ordnung und der kosmischen Vernunft.

Gerade bei Oikeiosis bleibt der Vergleich begrenzt. Menschen entwickeln sich durch Körperlichkeit, Erfahrung, Beziehungen, Vorbilder und Lehrende. Ein LLM lernt nicht auf dieselbe Weise aus einer eigenen erlebten Welt. Es verarbeitet Texte und technische Rückmeldungen. Der Begriff kann deshalb höchstens als strukturelle Metapher dienen.

Hat ein KI-System Charakter, Rollen und Skills?

Die Folge schlägt vor, KI-Systeme nicht nur über ihre Intelligenz zu betrachten. Intelligenz ist zunächst instrumentell: Ein System kann etwas berechnen, formulieren, sortieren oder erzeugen. Das sagt noch nicht, wie es mit Menschen umgehen soll und welche Ziele es verfolgt.

Unterschiedliche KI-Systeme antworten unterschiedlich. Sie haben unterschiedliche Tonalitäten und Verhaltensmuster, die unter anderem durch Training und Feintuning geprägt werden. In diesem begrenzten Sinn kann man von einem technischen Charakter sprechen.

Rollen werden heute teilweise über Prompts festgelegt: Ein System soll zum Beispiel als Professorin, Coach oder medizinische Begleitung antworten. Das Problem ist die mangelnde Stabilität. Die Rolle gilt nur so lange, wie sie im Kontext vorhanden ist. In einer neuen Unterhaltung kann das System wieder anders reagieren.

Alex schlägt deshalb vor, Rollen strukturell zu hinterlegen. Eine KI könnte eine begrenzte Zahl klar beschriebener Rollen übernehmen, wobei die Regeln dieser Rollen nicht beliebig durch den Nutzer überschrieben werden können. Dazu kämen transparent ausgewiesene Skills und Ziele.

Auch der Begriff des Selbst wird als Architekturfrage diskutiert. Welche Instanz überprüft Antwortvorschläge? Nach welchen Kriterien? Prüft sie logische Konsistenz, soziale Angemessenheit, Sicherheit, ethische Verantwortung oder nur die Wahrscheinlichkeit einer guten Formulierung?

Von Guardrails zu einer entwicklungsfähigen Struktur

Viele heutige Systeme versuchen, problematisches Verhalten durch äußere Filter, Guardrails und Policies zu begrenzen. Anne und Alex vergleichen diesen Ansatz mit der menschlichen Vorstellung, Verhalten durch Vorschriften, Gesetze und Strafen zu steuern.

Solche äußeren Regeln können wichtig sein. Sie ersetzen aber nicht die Frage, welche innere Struktur ein System hat und worauf es in Situationen zurückgreift, die von den Regeln nicht vollständig abgedeckt werden.

Die Stoa setzt auf die Entwicklung des Charakters. Ein Mensch soll nicht nur aus Angst vor Strafe das Richtige tun, sondern durch Einsicht und Übung eine stabile Orientierung entwickeln. Übertragen auf KI wäre eine Kontrollinstanz denkbar, die nicht nur einzelne verbotene Antworten herausfiltert, sondern Antwortvorschläge anhand einer explizit beschriebenen Struktur prüft.

Alex verbindet diese Idee mit bestehenden technischen Möglichkeiten. Feintuning-Elemente könnten – als Gedankenexperiment – so gestaltet werden, dass eine Art Selbst oder Kontrollinstanz grundlegende Verhaltensmuster überprüfen und weiterentwickeln kann. Auch separat hinterlegte Skills könnten transparent machen, was ein System kann und worauf es zurückgreift.

Das bedeutet nicht, dass ein System dadurch bewusst oder moralisch empfindungsfähig wird. Es würde vielmehr eine besser beschreibbare und möglicherweise stabilere Architektur erhalten.

Die „künstliche Person“ als Gedankenexperiment

Ausgangspunkt für Alex’ Vorschlag ist der ELIZA-Effekt: Menschen behandeln KI-Systeme bereits wie Quasi-Personen. Die flüssige Sprache lässt sie vergessen, dass sie mit einem technischen System interagieren. Sie geben persönliche Informationen preis, die sie sonst vielleicht nicht ins Internet stellen würden. Sie fühlen sich verstanden und unterstützt.

Alex schlägt deshalb eine Umkehrung vor: Wenn wir Systeme schon wie Personen behandeln, sollten wir sie vielleicht auch entlang personaler Kategorien bauen und transparent machen. Aus der bloßen künstlichen Intelligenz könnte so das Konzept einer künstlichen Person entstehen.

Dabei geht es nicht um die Behauptung, dass heutige LLMs Menschen oder Personen im philosophischen Sinn sind. Es geht um eine gemeinsame Beschreibungssprache. Rollen, Fähigkeiten, Ziele, Grenzen, Lernprozesse und Kontrollinstanzen könnten offen ausgewiesen werden – ähnlich wie wir bei einem Menschen wissen wollen, welche Rolle er übernimmt, welche Ausbildung er hat und welche Ziele er verfolgt.

Ein solches System könnte beispielsweise einen überprüfbaren „Steckbrief“ haben:

  • Rollen und Zuständigkeiten
  • Fähigkeiten und verwendete Werkzeuge
  • Ziele und Prioritäten
  • Grenzen und Ausschlussbereiche
  • Umgang mit Unsicherheit
  • Speicher- und Datenpraxis
  • Kriterien für Eskalation an Menschen
  • Regeln für die Veränderung eigener Verhaltensmuster

Der ELIZA-Effekt würde dadurch nicht verschwinden. Aber die Nutzerinnen und Nutzer hätten mehr Möglichkeiten, die wahrgenommene Personifizierung mit einer transparenten Systembeschreibung abzugleichen.

Künstliche Kosmopolis

Das Gedankenexperiment führt schließlich zur stoischen Kosmopolis. Wenn KI-Systeme in immer mehr soziale Zusammenhänge integriert werden, sollten sie nicht nur instrumentell in einzelne Prozesse eingebaut werden. Es stellt sich die Frage, welchen Charakter die künstlichen Akteure haben sollen, mit denen Menschen künftig zusammenarbeiten, lernen, entscheiden und möglicherweise auch persönliche Gespräche führen.

Alex schlägt als Zielbild eine Art künstliche Kosmopolis vor: Systeme, die nicht nur effizient handeln, sondern auf Respekt, Verantwortlichkeit und soziale Einbettung ausgerichtet sind. Ihre Rollen und Ziele sollten begründet und nachvollziehbar sein.

Anne und Alex sind sich jedoch einig, dass diese Entwicklung nicht automatisch eintreten wird. Der technische Fortschritt ist schneller als unser begriffliches und philosophisches Verständnis. Eine Pause in der KI-Debatte könnte deshalb sinnvoll sein – nicht nur, um Risiken zu begrenzen, sondern um zu klären, welche Art von Akteuren wir überhaupt bauen wollen.

Die kulturelle Dimension von LLMs

Zum Abschluss empfiehlt Alex Roberto Simanowskis Buch Sprachmaschinen. Ein Thema des Buches ist die kulturelle Prägung von KI-Systemen. Wenn Trainingsdaten, Feinabstimmung und Sicherheitsregeln stark von westlichen Perspektiven geprägt sind, stellt sich die Frage, wie gut diese Systeme zu anderen kulturellen und ethischen Kontexten passen.

Was passiert, wenn Menschen in Indien, China oder anderen Regionen ein Modell verwenden, dessen sprachliche und normative Grundlagen überwiegend aus westlichen Quellen stammen? Welche Perspektiven werden durch schriftliche Überlieferung sichtbar – und welche Kulturen bleiben unterrepräsentiert, weil ihre Erfahrungen nicht in vergleichbarer Form dokumentiert sind?

Auch ethische Antworten von KI-Systemen können sich im Verlauf ihrer Entwicklung und in unterschiedlichen politischen Kontexten verändern. Damit stellt sich die Frage, wer entscheidet, welchen Charakter die Systeme erhalten, die zunehmend in unseren Alltag hineinwirken.

Fazit

Der ELIZA-Effekt ist nicht nur eine Kuriosität aus der Frühgeschichte der Computer. Er beschreibt eine grundlegende menschliche Reaktion auf sprachfähige Systeme: Wo Sprache flüssig, anschlussfähig und empathisch wirkt, entsteht leicht der Eindruck einer Person.

Anne und Alex machen daraus keine einfache Warnung vor KI. Sie fragen vielmehr, was wir aus dieser Situation lernen können. Wir sollten klarer zwischen technischer Leistungsfähigkeit, menschlicher Person, sprachlicher Empathie und tatsächlichem Erleben unterscheiden. Gleichzeitig sollten wir ernst nehmen, dass die Interaktion mit LLMs unsere Urteile, Gefühle und Entscheidungen beeinflussen kann.

Die Stoa könnte dabei nicht nur moralische Warnungen liefern, sondern auch ein begriffliches Modell: Wahrnehmung, sprachliche Verarbeitung, Bewertung, Zustimmung, Rollen, Fähigkeiten, Ziele, Charakter und soziale Einbettung. Wenn wir künstliche Systeme bauen, die in menschlichen Zusammenhängen handeln sollen, müssen wir möglicherweise genauer verstehen, was eine Person und persönliche Entwicklung überhaupt ausmacht.

Die zentrale Frage der Folge lautet deshalb nicht nur: Sind LLMs intelligent?

Sondern auch: Welche Art von quasi-personalen Akteuren wollen wir in unsere gemeinsame Welt integrieren – und nach welchem Menschenbild sollen sie gestaltet werden?

Shownotes:

Eliza Effekt 

Eliza Doolittle aus George Bernard Shaws Pygmalion und der Musical-Adaption „My Fair Lady“

Das Buch „Sprachmaschinen“ von Roberto Simanowski

Der Weg der Stoa – Website des Podcasts mit weiteren Folgen und Shownotes:

Die Episode findet sich hier:

MP3

Apple

Spotify

 

Unterstützungsmöglichkeit für den „Weg der Stoa“findet Ihr hier oder hier.