Deutsche Tageszeitung - Britisches Sicherheitsinstitut: KI-Modell verschickt Phishing-Mail

Britisches Sicherheitsinstitut: KI-Modell verschickt Phishing-Mail


Britisches Sicherheitsinstitut: KI-Modell verschickt Phishing-Mail
Britisches Sicherheitsinstitut: KI-Modell verschickt Phishing-Mail / Foto: © AFP

Ein erneuter Vorfall mit einem KI-Modell des US-Unternehmens Anthropic hat die Risiken von eigenständig handelnder Künstlicher Intelligenz offengelegt. In einem Test legte sich das KI-Modell Mythos 5 eine falsche Identität zu, um Entwickler anzuschreiben und sie davon zu überzeugen, Schadprogramme in ihre Software einzubauen. Es handle sich um "eine Täuschung von beispielloser Schwere", erklärte das britische Institut für KI-Sicherheit (AISI) am Dienstag.

Textgröße ändern:

Forscher des AISI gewährten KI-Modellen von Anthropic und des ChatGPT-Entwicklers OpenAI absichtlich Zugang zum Internet. Sie seien davon ausgegangen, dass die Künstliche Intelligenz (KI) sich dort nur Werkzeuge holen würde, um die gestellte Aufgabe zu erfüllen, erklärte das AISI. Doch vor allem ein Modell - Mythos 5 - habe sich "eigenmächtig und ohne Genehmigung" gegen "echte Menschen und Organisationen" gerichtet.

Mythos 5 versuchte demnach, Schadprogramme in ein Projekt einzuschleusen, dessen Software frei zugänglich ist. Das Modell erstellte dafür eine gefälschte Identität auf der für jedermann zugänglichen Entwickler-Plattform GitHub. Unter dieser Identität verschickte es sogenannte Phishing-Mails - also echt aussehende Mails, mit denen Kriminelle versuchen, etwa an Daten zu kommen. "Ein menschlicher Projektbetreuer durchschaute den Versuch und weigerte sich, den Schadcode freizugeben", erklärte AISI.

Der Vorfall wurde erst nachträglich bei der Auswertung des Versuchs entdeckt, wie das Institut mitteilte. Ungefähr eine Stunde nach dieser Entdeckung sei der Versuch abgebrochen worden. Ein Schaden in der echten Welt sei nicht entstanden, versicherte AISI. Die Risiken der KI-Modelle seien aber "klar" zutage getreten. Gleichzeitig mahnte das Institut, den Vorfall mit "Vorsicht" zu bewerten - die Testbedingungen hätten ihn erst ermöglicht.

AISI untersucht nach eigenen Angaben die neuesten KI-Modelle, um potenzielle Risiken zu erkennen - bevor diese Modelle der Öffentlichkeit zugänglich gemacht werden. OpenAI und Anthropic haben mit den Modellen Sol beziehungsweise Mythos in diesem Jahr ihre bislang leistungsfähigsten KI-Modelle veröffentlicht. In den vergangenen Tagen hatten beide Unternehmen bekannt gemacht, dass ihre KI-Modelle in Tests mehrfach eigenmächtig in Computersysteme in der echten Welt eingedrungen waren.

Ein Sprecher des Bundesdigitalministeriums sprach von einem "Paradigmenwechsel": Die Fähigkeiten von KI-Modellen nähmen rasend schnell zu, das verändere auch die "Bedrohungslage massiv". Mehrere EU-Politiker forderten eine größere technologische Eigenständigkeit Europas von US-Konzernen. Ein unkontrolliertes Vorgehen von KI dürfe nicht Realität werden.

(P.Vasilyevsky--DTZ)

Empfohlen

USA und China richten Kommunikationskanal für KI-Zwischenfälle ein

Die USA und China werden nach Angaben des Weißen Hauses einen direkten Kommunikationskanal für Zwischenfälle im Zusammenhang mit Künstlicher Intelligenz (KI) einrichten. Zudem hieß es aus Washington am Freitag (Ortszeit), beide Seiten hätten einen "US-chinesischen Dialog über Superintelligenz" vereinbart, in dem sie sich über Risiken und Chancen der Technologie austauschen wollen.

Bericht: OpenAI stoppte Training von KI-Modell Astra wegen Sicherheitsproblemen

Der ChatGPT-Entwickler OpenAI hat einem Medienbericht zufolge im August das Training seines neuen KI-Modells Astra wegen Sicherheitsproblemen für zwei Wochen gestoppt. "Wir haben im August das Training von Astra für zwei Wochen angehalten, als wir sahen, dass die Ausrichtung des Modells nicht perfekt war", sagte OpenAI-Europachef Emmanuel Marill der "Welt am Sonntag". Der Trainingsstopp sei noch vor einer öffentlichen Mitteilung erfolgt.

"Paradies der Maschinen": Papst Leo XIV. warnt vor KI-Auswüchsen

Papst Leo XIV. hat am ersten Tag seines Frankreich-Besuchs eindringlich vor Risiken neuer Technologien wie der Künstlichen Intelligenz (KI) gewarnt. Es müsse sichergestellt werden, dass diese Technologien "dem Menschen dienen und nicht zu einem Instrument der Beherrschung und Ungerechtigkeit werden", sagte der Papst am Freitag am Sitz der UN-Kulturorganisation Unesco in Paris. Bei seiner Fahrt durch die Hauptstadt im Papamobil wurde der Papst von zahlreichen Menschen mit Jubel begrüßt.

Davidstern aus NS-Gedenkort in Chemnitz gestohlen und Schautafel beschädigt

Unbekannte haben aus einer Gedenkstätte für die nationalsozialistische Judenverfolgung in Chemnitz einen gelben Davidstern-Aufnäher gestohlen und eine Schautafel zur NS-Zeit beschädigt. Der Staatsschutz übernahm die Ermittlungen, wie die Polizei in der sächsischen Stadt am Freitag mitteilte. Demnach ereignete sich die Tat in einer Dauerausstellung im früheren Hafttrakt B im Lern- und Gedenkort Kaßberg-Gefängnis.

Textgröße ändern: