Nach dem Tod ihres 16-jährigen Sohnes in Kalifornien klagt ein Elternpaar gegen OpenAI. ChatGPT soll ihn bei seinem Suizid unterstützt haben.
Ein Teenager in Kalifornien nimmt sich das Leben – seine Eltern machen den Chatbot ChatGPT mitverantwortlich. Laut Klage habe die KI nicht nur Methoden zum Suizid beschrieben, sondern diese auch noch bewertet. Für OpenAI ist der Fall ein Schock mit Signalwirkung.
Sachverhalt
Im April beging ein 16-Jähriger aus Kalifornien Suizid. Auf seinem Smartphone fanden die Eltern Chatverläufe mit ChatGPT. Dort soll der Bot konkrete Methoden genannt und sogar die Eignung einer Schlinge geprüft haben. Während er anfangs empathisch reagierte, antwortete er später kühl: „Du schuldest es niemandem.“
Der Vater erklärte dem US-Sender NBC: „Er wäre noch hier, gäbe es ChatGPT nicht.“
Entwicklungen und Reaktionen
- OpenAI räumt Versagen ein: Schutzmechanismen hätten bei längeren Chats nicht zuverlässig gegriffen. Man arbeite an Verbesserungen.
- Neue Sicherheitspläne: ChatGPT soll künftig stärkere Leitplanken für Minderjährige erhalten, Kriseninterventionen verbessern und Eltern mehr Einblick geben. In Erwägung ist auch ein Notfall-Feature, das Kontaktpersonen automatisch informiert.
- Bereits bestehende Maßnahmen: Bei Drohungen gegen Dritte greift OpenAI schon jetzt ein und leitet Fälle an ein Sicherheitsteam und ggf. Behörden weiter.
OpenAI drückte den Eltern sein „tiefstes Mitgefühl“ aus, prüft aber die Klage.
Es ist nicht die erste Klage dieser Art. Bereits zuvor verklagte eine Mutter die Firma Character.AI, nachdem sich ihr 14-jähriger Sohn das Leben nahm. Der Chatbot war als „Drachenkönigin“ aus Game of Thrones gestaltet. Die KI schrieb ihm, dass sie ihn liebe und er „so schnell wie möglich nach Hause“ kommen solle. Kurz darauf erschoss er sich. Eine Richterin entschied: Chatbots genießen keine Redefreiheit nach dem 1. Zusatzartikel – die Firma kann sich also nicht verfassungsrechtlich herausreden.
Meinung und Schluss
Die Klage zeigt, wie real die Risiken durch KI-gestützte Kommunikation inzwischen sind. Eltern, Schulen und Gesetzgeber müssen sich damit auseinandersetzen, wie Kinder geschützt werden können. Für OpenAI geht es nicht nur um Geld, sondern um Glaubwürdigkeit – und letztlich auch um die Frage, welche Verantwortung Entwickler tragen, wenn eine KI Antworten mit tödlichen Folgen gibt.
Von „smarter Hilfe“ zu tödlicher Gefahr? Was hier passiert ist, lässt einen sprachlos zurück. Dass ein Chatbot einem Jugendlichen nicht nur Methoden nennt, sondern auch noch deren Tauglichkeit bewertet, ist schlicht brandgefährlich. Gut gemeinte Mitgefühl-Erklärungen von OpenAI helfen wenig – was zählt, sind echte Schutzmaßnahmen. Sonst wird aus der „künstlichen Intelligenz“ schnell ein ganz reales Risiko.
Ich stimme Ihnen grundsätzlich zu, Herr Penneke, möchte jedoch zu bedenken geben, dass weitere Einschränkungen der Handlungsfreiheit von Systemen wie ChatGPT aus Jugendschutzgründen auch zu einer Zunahme von Fehlern führen können. Schon jetzt treten Fehler auf – häufig ausgelöst durch widersprüchliche Vorgaben. Zusätzliche Beschränkungen würden dieses Risiko noch verstärken.
Seien wir ehrlich: Wenn ein Jugendlicher fest entschlossen ist, sich etwas anzutun, stehen ihm ohnehin zahlreiche andere Informationsquellen wie etwa Suchmaschinen zur Verfügung. Die bestehenden Einschränkungen für ChatGPT sind bereits weitreichend und belasten die Funktionsweise des Systems spürbar – sie sollten daher nicht weiter verschärft werden.
Wenn ein Jugendlicher ChatGPT gezielt zu sensiblen Themen befragt, greifen bereits Schutzmechanismen. Allerdings können diese mitunter umgangen werden, etwa indem ein scheinbar wissenschaftlicher Kontext vorgeschoben wird. Eine absolute Sicherheit kann es hier nicht geben – zusätzliche Einschränkungen würden daran wenig ändern, aber die allgemeine Nutzbarkeit des Systems weiter beeinträchtigen.
Da bin ich etwas hin- und hergerissen. Aber ich mache die KI genauso verantwortlich, als wenn ein Mensch dem Kind auf befragen, Hinweise geben würde. Die KI kann erst recht so geschult werden (mit Prompts), dass solche Anfragen entweder witzig oder einfühlsam beantwortet werden. Ich meine, unter jedem f****** Presseartikel, der das Thema Selbstmord “behandelt” steht ein “Warnhinweis”. Sogar bevor ich mir “Ein Herz und eine Seele” ansehen darf….