Audio-Deepfakes entwickeln sich in einem Jahr großer Wahlen auf der ganzen Welt zu einem mächtigen neuen Werkzeug im Informationskrieg, da sich im Internet immer mehr Tools zum Klonen von Stimmen verbreiten, die auf künstlicher Intelligenz basieren.
Am Montag erklärte die Generalstaatsanwaltschaft von New Hampshire, sie untersuche eine mögliche Unterdrückung von Wählern, nachdem Beschwerden eingegangen seien, dass eine „künstlich erzeugte“ Stimme in der Gestalt von US-Präsident Joe Biden Wähler per Robocall dazu angehalten habe, nicht an den Präsidentschaftsvorwahlen des Staates teilzunehmen .
Forscher haben auch davor gewarnt, dass sich die Verwendung realistischer, aber gefälschter Sprachclips, die Politiker und Führungspersönlichkeiten imitieren, wahrscheinlich weiter ausbreiten wird, nachdem es im Jahr 2023 zu Vorfällen kam, bei denen angeblich synthetischer Ton erzeugt wurde, um Politik und Wahlen in Großbritannien, Indien, Nigeria, Sudan, Äthiopien und anderen Ländern zu beeinflussen Slowakei.
Laut Experten werden Audio-Deepfakes aufgrund des Aufkommens billiger und effektiver KI-Tools von Start-ups wie ElevenLabs, Resemble AI, Respeecher und Replica Studios zu einer immer beliebter werdenden Form der Desinformation. Unterdessen kündigte die Forschungsabteilung von Microsoft letztes Jahr die Entwicklung eines neuen Unternehmens-KI-Modells namens VALL-E an, das eine Stimme aus nur drei Sekunden Aufzeichnungen klonen kann.
„Wenn es um visuelle Manipulation geht, ist jeder an Photoshop gewöhnt oder weiß zumindest, dass es existiert“, Henry Ajder, Experte für KI und Deepfakes und Berater von Adobe, Meta und EY. „Es gibt viel weniger Bewusstsein dafür, wie Audiomaterial manipuliert werden kann, was mich meiner Meinung nach wirklich darauf vorbereitet, verwundbar zu sein.“
Im September deckte NewsGuard, das die Qualität und Vertrauenswürdigkeit von Nachrichtenseiten bewertet, ein Netzwerk von TikTok-Konten auf, die sich als legitime Nachrichtenagenturen ausgaben und KI-generierte Voice-Overs enthielten, die Verschwörungstheorien und politische Fehlinformationen verbreiteten. Dazu gehörte eine simulierte Stimme des ehemaligen US-Präsidenten Barack Obama, der sich gegen unbegründete Behauptungen verteidigte, die ihn mit dem Tod seines persönlichen Kochs in Verbindung brachten.
Die gefälschten Voice-Overs schienen von einem Tool generiert worden zu sein, das von den von Andreessen Horowitz unterstützten ElevenLabs zur Verfügung gestellt wurde, während die Clips zerbrach Hunderte Millionen Aufrufe, sagte NewsGuard.
„Über 99 Prozent der Benutzer unserer Plattform erstellen interessante, innovative und nützliche Inhalte, aber wir sind uns bewusst, dass es Fälle von Missbrauch gibt, und wir haben kontinuierlich Schutzmaßnahmen entwickelt und veröffentlicht, um diese einzudämmen“, sagte ElevenLabs damals der Bericht.
ElevenLabs wurde vor zwei Jahren von den ehemaligen Google- und Palantir-Mitarbeitern Piotr Dabkowski und Mati Staniszewski gegründet und bietet kostenlose, rudimentäre KI-Tools zur Audiogenerierung per Mausklick. Die Abonnements reichen von 1 $ pro Monat bis 330 $ pro Monat und mehr für diejenigen, die anspruchsvollere Angebote suchen.
Laut Ajder wurden Desinformationstäter durch von ElevenLabs entwickelte KI-Tools ermutigt, die die Qualität synthetischer Audiodaten von unzusammenhängend und roboterhaft zu natürlicher mit dem richtigen Tonfall, der richtigen Intonation und den richtigen Emotionen verändert haben.
„Grundsätzlich [ElevenLabs] „Das Spiel hat sich sowohl im Hinblick auf den erreichbaren Realismus verändert, insbesondere mit einer kleinen Datenmenge“, sagte er.
Der Markt für Text-to-Speech-Tools ist im vergangenen Jahr explodiert. Einige, wie etwa Voice AI, bieten kostenlose Apps an und vermarkten ihre Technologie zur Nutzung als Synchronisation für Streiche. Andere, wie Replica Studios und Respeecher, erheben geringe Gebühren für Urheber, Filmemacher oder Spieleentwickler.
Es ist oft unklar, welche Unternehmen für die Erstellung politisch motivierter Deepfakes eingesetzt werden, da die meisten Erkennungstools die Originalquelle nicht identifizieren können. Die zunehmende Verbreitung solcher KI-gestützter Produkte gibt jedoch Anlass zur Sorge über mögliche Missbräuche in einem unregulierten Bereich.
Letztes Jahr, US-Geheimdienste gewarnt In einem Bericht heißt es, dass „angesichts der Veröffentlichung hochentwickelter und hochqualifizierter KI-Modelle zum Klonen von KI-Stimmen ein massiver Anstieg personalisierter KI-Betrügereien zu verzeichnen ist“.
Über finanziell motivierte Betrügereien hinaus schlagen Politikexperten jetzt Alarm wegen viraler Deepfake-Audioclips sowie der Verwendung von Deepfakes für Robocalling oder Kampagnen. „Man kann sehr kostengünstig eine starke, weitreichende Fehlinformationskampagne aufbauen, indem man Menschen per Telefon anspricht“, sagte AJ Nash, Vizepräsident und angesehener Geheimdienstmitarbeiter der Cybersicherheitsgruppe ZeroFox.
Einige dieser Unternehmen haben proaktiv nach anderen Wegen gesucht, um Desinformation zu bekämpfen. Microsoft hat eine Ethikerklärung herausgegeben, in der Benutzer dazu aufgefordert werden, jeglichen Missbrauch seines KI-Audiotools zu melden, und besagt, dass der Sprecher die Verwendung seiner Stimme mit dem Tool genehmigen sollte. ElfLabs hat eigene Erkennungstools entwickelt, um von seinen Systemen erstellte Audioaufnahmen zu identifizieren. Andere, wie z Ähnelnerforschen, KI-generierte Inhalte mit unhörbaren Wasserzeichen zu versehen.
Während der Wahlen 2023 in Nigeria verbreitete sich in den sozialen Medien ein KI-manipulierter Clip, „der angeblich einen Präsidentschaftskandidaten der Opposition in Pläne zur Wahlmanipulation verwickelt“, so die Menschenrechtsgruppe Freedom House.
In der Slowakei verbreitete sich nur wenige Tage vor der Präsidentschaftswahl des Landes im September eine gefälschte Audioaufnahme des Oppositionskandidaten Michal Šimečka, der offenbar eine Wahlfälschung plante, viral.
Weitere Verwirrung säen, Gruppen und Einzelpersonen hineinbringen Indien und Äthiopien haben Audioaufnahmen als Fälschung angeprangert, nur damit andere unabhängige Forscher und Faktenprüfer behaupten konnten, sie seien authentisch.
Experten warnten davor, dass ein damit verbundenes Problem darin bestehe, dass von KI erstelltes Audio oft schwerer zu erkennen sei als Video. „Man hat einfach viel weniger kontextbezogene Hinweise, die man abarbeiten könnte“, sagt Katie Harbath, Global Affairs Officer bei Duco Experts und ehemalige Meta-Direktorin für öffentliche Ordnung.
Es gibt oft verräterische visuelle Anzeichen dafür, dass ein Video nicht authentisch ist, wie etwa Qualitätsmängel, seltsame Schatten, Unschärfe oder unnatürliche Bewegungen.
„Die Vorteile von Audio [for bad actors] sind, dass man weniger präzise sein kann“, sagte Nash. „Mängel kann man mit Hintergrundgeräuschen und gedämpfter Musik überdecken.“ Ein Deepfake, in dem der britische Oppositionsführer Sir Keir Starmer angeblich einen Mitarbeiter beschimpfte, klang beispielsweise, als wäre es in einem belebten Restaurant aufgenommen worden.
Um dem Problem entgegenzuwirken, entsteht ein Markt für technologiegestützte Erkennung. Die Cybersicherheitsgruppe McAfee kündigte diesen Monat Project Mockingbird an, ein Tool, das nach Anomalien in Klangmustern, Frequenzen und Amplituden sucht, bevor es Benutzern eine Wahrscheinlichkeit dafür gibt, ob es sich um echte oder gefälschte Audiodaten handelt. Steve Grobman, Chief Technology Officer von McAfee, sagte, das Erkennungstool habe eine Wirksamkeit von etwa 90 Prozent.
Nicolas Müller, Forscher für maschinelles Lernen am Fraunhofer AISEC, stellte fest, dass das absichtliche Hinzufügen von Musik oder die Verschlechterung der Audioqualität auch die Genauigkeit der Erkennungstools beeinträchtigt.
Online-Plattformen bemühen sich, das Problem einzudämmen. Meta wurde kritisiert, weil dies ausdrücklich der Fall war Verbote manipuliertes Video, das irreführen soll, aber die gleichen Regeln scheinen für Audio nicht zu gelten. Meta sagte, dass Audio-Deepfakes einer Faktenprüfung unterzogen werden könnten und bei Entdeckung in den Feeds der Benutzer gekennzeichnet und herabgestuft würden. TikTok hat auch in Kennzeichnungs- und Erkennungsfunktionen investiert.
„Der New Hampshire Deepfake ist eine Erinnerung an die vielen Möglichkeiten, wie Deepfakes Verwirrung stiften und Betrug aufrechterhalten können“, sagte Robert Weissman, Präsident der gemeinnützigen Verbraucherschutzgruppe Public Citizen. „Der politische Deepfake-Moment ist da. Die politischen Entscheidungsträger müssen sich beeilen, Schutzmaßnahmen einzuführen, sonst droht uns ein Wahlchaos.“