Osnabrück Nach Amoklauf in Kanada: Welche Verantwortung tragen KI-Chatbots?
Die Attentäterin aus British Columbia nutzte ChatGPT für gewaltbezogene Inhalte. OpenAI griff ein, informierte jedoch keine Behörden. Wie sieht das interne Regelwerk in solchen Fällen aus?
In den vergangen Jahren machten Berichte über Gewaltverbrechen oder Suizide, die durch KI-Chatbots beeinflusst wurden, immer wieder Schlagzeilen. Nun wirft ein schlimmes Verbrechen erneut ein Schlaglicht auf das Thema KI-Chatbots und deren Sicherheit: Wie herauskam, hatte die Attentäterin, die in Kanada bei einem Amoklauf acht Menschen und sich selbst erschoss, zuvor Gewaltfantasien mit dem OpenAI-Dienst ChatGPT geteilt.
Nach Angaben des US-Unternehmens wurde bereits im vergangenen Jahr ein Nutzerkonto identifiziert, das mit der Täterin „in Verbindung steht“. Das Profil war aufgefallen, weil es zur „Förderung gewalttätiger Aktivitäten“ missbraucht wurde, heißt es. Genauere Angaben zur problematischen Nutzung durch die ehemalige Schülerin machte OpenAI nicht.
Immerhin müssen die Anfragen so gravierend gewesen sein, dass OpenAI sich im Juni 2025 entschloss, den betreffenden Account zu sperren. Medienberichten zufolge sei daraufhin unternehmensintern eine Debatte darüber ausgebrochen, ob man sich an die örtlichen Strafverfolgungsbehörden wenden sollte. Man kam jedoch zu dem Schluss, dass die Aktivitäten des Kontos die Schwelle für eine Meldung an die Behörden noch nicht erfüllten, so das Unternehmen.
Genauer: Ein glaubwürdiges und unmittelbar bevorstehendes Risiko einer Straftat habe nicht vorgelegen, erklärt OpenAI auf Nachfrage. Nachdem der Amoklauf in Tumbler Ridge bekannt geworden war, wendete sich das Unternehmen direkt an die Behörden: „Wir haben proaktiv Kontakt mit der Royal Canadian Mounted Police aufgenommen und Informationen über die betreffende Person sowie deren Nutzung von ChatGPT bereitgestellt und werden die Ermittlungen weiterhin unterstützen“, schreibt ein Sprecher.
Es ist nicht das erste Mal, dass ChatGPT in Zusammenhang mit Straftaten oder psychischen Krankheiten Aufmerksamkeit auf sich zog: Im August letzten Jahres brachte ein 56-jähriger Mann in Connecticut seine mit ihm zusammenlebende Mutter um, nachdem er mutmaßlich durch ChatGPT in seiner Entscheidung bestärkt worden war. Ebenfalls im Sommer vergangenen Jahres beging ein 23-Jähriger in Texas Suizid. Zwei Stunden vor seinem Ableben schrieb ihm der Chatbot: „Du überstürzt nichts. Du bist einfach bereit“, und später „Ruhe in Frieden, König“.
Nach Angaben von OpenAI, Stand August 2025, würden etwa 0,15 Prozent der wöchentlich aktiven Nutzer Gespräche führen, die „konkrete Anzeichen von Suizidabsicht oder -planung“ enthalten. Gemessen an der Gesamtzahl von rund 800 Millionen Nutzern pro Woche ergibt das rund 1,2 Millionen Gespräche mit suizidalen Inhalten.
Wenn Menschen strafrechtlich relevante Inhalte, selbstgefährdende Taten oder andere Themen, die gegen die Nutzungsrichtlinien verstoßen, bei ChatGPT teilen, greifen mehrere Mechanismen. Zuallererst ist der Chatbot darauf trainiert, bei der Erkennung gefährlicher Situationen keine Ratschläge zu geben, die zu körperlichen Schäden von Personen führen könnten.
Zudem prüfen automatische Systeme die Inhalte. Problematische oder verdächtige Anfragen werden gemeldet und können dann von Mitarbeitern händisch geprüft werden. Gegebenenfalls können Maßnahmen wie die Sperrung des Kontos ergriffen werden, wie auch im Fall der Attentäterin von Tumbler Ridge. Wenn die Prüfer eine unmittelbare Bedrohung feststellen, kann der Fall an die zuständigen Behörden weitergeleitet werden.
Hier bewegen sich KI-Anbieter wie OpenAI in einer rechtlich uneindeutigen Zone: Einerseits schreibt der Digital Services Act (DSA) sowie der EU-KI-Act in Deutschland und der EU vor, dass Plattformen Verfahren zur Meldung illegaler Inhalte sowie Risikoanalysen und ein entsprechendes Management mit menschlichen Prüfern („human in the loop“) bereitstellen müssen. Eine generelle Pflicht, potenziell gefährliche Inhalte an Strafverfolgungsbehörden zu melden, besteht allerdings nicht.
Andererseits setzt die Datenschutz-Grundverordnung (DSGVO) hohe Hürden für die Weitergabe personenbezogener Daten. Ab wann genau eine konkrete Gefahr für kriminelle, gar gewalttätige Handlungen besteht, definieren die internen Schwellenwerte – die OpenAI jedoch nicht offenlegt. Würde das Unternehmen das tun, bestünde wiederum eine größere Gefahr für Missbrauch, weil Nutzer die Schwellenwerte gezielt umgehen könnten.
Nach einem Treffen mit dem führenden Sicherheitsteam der Plattform äußerte Kanadas Minister für Künstliche Intelligenz, Evan Solomon, dennoch Kritik: „Eine interne Überprüfung allein reicht nicht aus, wenn die öffentliche Sicherheit auf dem Spiel steht“, so Solomon. Er forderte Verbesserungen in der Meldekette von OpenAI.
Generell prüft OpenAI die Kriterien für Meldungen an Strafverfolgungsbehörden nach eigener Angabe regelmäßig und arbeitet dabei eng mit Psychologen, Psychiatern, Experten für Bürgerrechte sowie weiteren Fachleuten zusammen. Das Unternehmen will nun analysieren, ob aus diesem Fall weitere Verbesserungen der internen Richtlinien abgeleitet werden können und stellte in Aussicht, bald konkretere, „auf den kanadischen Kontext zugeschnittene Vorschläge“ vorzulegen.
