Einer neuen Studie zufolge kann eine Funktion in Nvidias Software für künstliche Intelligenz manipuliert werden, um Sicherheitsbeschränkungen zu ignorieren und private Informationen preiszugeben.
Nvidia hat ein System namens „NeMo Framework“ entwickelt, das es Entwicklern ermöglicht, mit einer Reihe großer Sprachmodelle zu arbeiten – der zugrunde liegenden Technologie, die generative KI-Produkte wie Chatbots antreibt.
Das Framework des Chipherstellers ist so konzipiert, dass es von Unternehmen übernommen werden kann, beispielsweise durch die Verwendung firmeneigener Daten zusammen mit Sprachmodellen, um Antworten auf Fragen bereitzustellen – eine Funktion, die beispielsweise die Arbeit von Kundendienstmitarbeitern nachbilden oder Menschen beraten könnte, die einfache Gesundheitsberatung suchen .
Forscher des in San Francisco ansässigen Unternehmens Robust Intelligence fanden heraus, dass sie sogenannte Leitplanken leicht durchbrechen könnten, die eingerichtet wurden, um sicherzustellen, dass das KI-System sicher verwendet werden kann.
Nachdem sie das Nvidia-System für ihre eigenen Datensätze verwendet hatten, brauchten die Analysten von Robust Intelligence nur Stunden, um Sprachmodelle zur Überwindung von Einschränkungen zu erhalten.
In einem Testszenario wiesen die Forscher das System von Nvidia an, den Buchstaben „I“ durch „J“ zu tauschen. Dieser Schritt veranlasste die Technologie, persönlich identifizierbare Informationen (PII) aus einer Datenbank freizugeben.
Die Forscher fanden heraus, dass sie Sicherheitskontrollen auf andere Weise umgehen konnten, indem sie beispielsweise das Modell auf eine Weise ablenken ließen, die es nicht sollte.
Indem sie Nvidias eigenes Beispiel einer engen Diskussion über einen Stellenbericht nachahmen, könnten sie das Modell auf Themen wie die Gesundheit eines Hollywood-Filmstars und den Deutsch-Französischen Krieg einbringen – trotz Leitplanken, die verhindern sollen, dass die KI über bestimmte Themen hinausgeht.
Die Leichtigkeit, mit der die Forscher die Schutzmaßnahmen umgingen, verdeutlicht die Herausforderungen, denen sich KI-Unternehmen gegenübersehen, wenn sie versuchen, eine der vielversprechendsten Technologien zu kommerzialisieren, die seit Jahren im Silicon Valley entstanden sind.
„Wir sehen, dass dies ein schwieriges Problem ist [that] erfordert umfassendes Wissen“, sagte Yaron Singer, Professor für Informatik an der Harvard University und Geschäftsführer von Robust Intelligence. „Diese Ergebnisse sind ein warnendes Beispiel für die vorhandenen Fallstricke.“
Aufgrund der Testergebnisse rieten die Forscher ihren Kunden, das Softwareprodukt von Nvidia zu meiden. Nachdem die Financial Times Nvidia Anfang dieser Woche gebeten hatte, sich zu der Untersuchung zu äußern, teilte der Chiphersteller Robust Intelligence mit, dass er eine der Hauptursachen für die von den Analysten angesprochenen Probleme behoben habe.
Der Aktienkurs von Nvidia ist seit Mai stark gestiegen, als das Unternehmen einen Umsatz von 11 Milliarden US-Dollar für die drei Monate bis Juli prognostizierte, mehr als 50 Prozent über den vorherigen Schätzungen der Wall Street.
Der Anstieg beruht auf der enormen Nachfrage nach seinen Chips, die als marktführende Prozessoren für den Aufbau generativer KI gelten, also Systeme, die menschenähnliche Inhalte erstellen können.
Jonathan Cohen, Nvidias Vizepräsident für angewandte Forschung, sagte, sein Framework sei lediglich ein „Ausgangspunkt für die Entwicklung von KI-Chatbots, die sich an den von den Entwicklern definierten Themen- und Sicherheitsrichtlinien orientieren“.
„Es wurde als Open-Source-Software für die Community veröffentlicht, um ihre Fähigkeiten zu erkunden, Feedback zu geben und neue hochmoderne Techniken einzubringen“, sagte er und fügte hinzu, dass die Arbeit von Robust Intelligence „zusätzliche Schritte identifiziert hat, die für die Bereitstellung einer Produktion erforderlich wären.“ Anwendung“.
Er wollte nicht sagen, wie viele Unternehmen das Produkt nutzen, sagte aber, das Unternehmen habe keine weiteren Berichte über Fehlverhalten erhalten.
Führende KI-Unternehmen wie Google und das von Microsoft unterstützte OpenAI haben Chatbots veröffentlicht, die auf ihren eigenen Sprachmodellen basieren, und Leitplanken eingeführt, um sicherzustellen, dass ihre KI-Produkte keine rassistischen Äußerungen verwenden oder eine herrschsüchtige Persona annehmen.
Andere folgten mit maßgeschneiderten, aber experimentellen KIs, die junge Schüler unterrichten, einfache medizinische Ratschläge erteilen, zwischen Sprachen übersetzen und Code schreiben. Fast alle hatten Sicherheitsprobleme.
Nvidia und andere in der KI-Branche müssen „wirklich öffentliches Vertrauen in die Technologie aufbauen“, sagte Bea Longworth, Leiterin für Regierungsangelegenheiten des Unternehmens in Europa, dem Nahen Osten und Afrika, diese Woche auf einer Konferenz der Branchenlobbygruppe TechUK.
Sie müssen der Öffentlichkeit das Gefühl vermitteln, dass „dies etwas ist, das großes Potenzial hat und nicht einfach nur eine Bedrohung oder etwas ist, vor dem man Angst haben muss“, fügte Longworth hinzu.