WIE GEFÄHRLICH SIND DEEPFAKES WIRKLICH?

VERBREITUNG

Es ist nicht einfach, die Verbreitung von Deepfakes exakt zu quantifizieren, zumal davon ausgegangen werden kann, dass ihre Anzahl stetig wächst. Das Unternehmen Deeptrace, das eine technologische Lösung für die Erkennung von Deepfakes anbietet, hat sich in seinem Report „The State of Deepfakes: Landscape, Threats, and Impact“ 7) um eine genaue Schätzung bemüht. Dem im September 2019 veröffentlichten Bericht zufolge hat sich die Zahl von Deepfakes innerhalb von sieben Monaten von 7.964 im Dezember 2018 auf 14.678 im Juli 2019 fast verdoppelt. Bei 96 Prozent dieser Deepfakes handelt es sich um nicht einvernehmlich erzeugte pornografische Inhalte, die ausschließlich weibliche Körper zeigen.

Vorrangig betroffen sind prominente Frauen, deren gefälschte Bilder zu Tausenden online verfügbar sind. Allein die vier populärsten DeepPorn-Websites verzeichnen laut Deeptrace-Report inzwischen mehr als 134 Millionen Aufrufe gefälschter Videos von weiblichen Prominenten.

Aber auch viele Privatpersonen sind von der bereits erwähnten Rachepornografie betroffen. Der Anstieg wird vor allem durch die bessere Zugänglichkeit sowohl von Werkzeugen als auch von Dienstleistungen ermöglicht, die die Erstellung von Deepfakes auch ohne Programmierkenntnisse möglich machen.

Im Jahr 2019 wurde auch bereits über Fälle berichtet, in denen KI-generierte Sprachklone für Social Engineering verwendet wurden. Im August berichtete The Wall Street Journal 8) von einem ersten Fall KI-basierten Stimmbetrugs – auch bekannt als Vishing (kurz für Voice Phishing) –, der das betroffene deutsche Unternehmen 220.000 Euro kostete. Die Software hat die Stimme des deutschen Managers, samt Melodie und dem leichten deutschen Akzent, so erfolgreich nachgeahmt, dass sein britischer Kollege sofort dem dringenden Wunsch des Anrufers nachgekommen ist, die genannte Summe zu überweisen. Es handelt sich zwar bisher um einen Einzelfall, doch ist davon auszugehen, dass es solche Versuche in Zukunft häufiger geben wird.

Ein signifikanter Teil der medialen Berichterstattung über Deepfakes hat sich auf ihr Potenzial konzentriert, politische Gegner zu diskreditieren und demokratische Prozesse zu untergraben. Dieses Potenzial hat sich bisher nicht entfaltet. Zwar wurden Videos von Politikern wie Barack Obama, Donald Trump oder Matteo Renzi technisch manipuliert, dies geschah bisher allerdings primär zu Satire- oder Demonstrationszwecken und wurde schnell aufgeklärt.

KONSEQUENZEN

Die Tatsache, dass bisher keine Deepfakes von Politikern zur Desinformation verwendet wurden, bedeutet jedoch mitnichten, dass sie keine Auswirkungen auf den politischen Diskurs hatten. Ein Beispiel, das in den westlichen Medien nur wenig Beachtung fand, zeigt, wie das bloße Wissen um die Existenz von Deepfakes das politische Klima beeinflussen kann:

Gabuns Präsident, Ali Bongo, hatte nach einem Schlaganfall monatelang keine öffentlichen Auftritte absolviert. Nachvollziehbarerweise kochte die Gerüchteküche hoch, und es wurden Stimmen laut, die behaupteten, der Präsident sei verstorben. Um die Spekulationen auszuräumen, wurde im Dezember 2018 ein Video veröffentlicht, in dem er seine übliche Neujahrsansprache hielt. Die Aufnahme hatte jedoch einen konträren Effekt. Viele waren der Meinung, Bongo hätte seltsam ausgesehen, und vermuteten sofort, dass es sich bei dem Video um eine Fälschung handele. Kurz darauf startete das Militär einen missglückten Staatsstreich und nannte den vermeintlichen Deepfake als Teil der Motivation.9)

Die anschließend vorgenommene forensische Analyse hat allerdings die Echtheit der Aufnahme bestätigt. Ali Bongo hat sich inzwischen von seinem Schlaganfall erholt und ist weiterhin im Amt. Dies zeigt, dass die größte Bedrohung durch Deepfakes gar nicht die Deepfakes selbst sein müssen. Allein die technologische Möglichkeit, solche Videos zu erstellen, wirft die Frage auf: Kann man der Authentizität von Bewegtbildern noch vertrauen?

Diese Frage wirft ihre Schatten auf die im Jahr 2020 stattfindenden US-Präsidentschaftswahlen. Bereits im Wahlkampf 2016 haben KI-gestützte Desinformation und Manipulation, vor allem in Form von Microtargeting und Bots, eine Rolle gespielt. Mit Deepfakes ist nun ein weiteres Instrument zum Desinformationsarsenal hinzugekommen. Auch wenn keine oder nur wenige tatsächliche Deepfakes in dem Wahlkampf angewendet werden sollten, werden Politikerinnen und Politiker höchstwahrscheinlich die Möglichkeit dankbar annehmen, echte, aber unvorteilhafte Aufnahmen als solche abzutun.

GIBT ES AUCH POSITIVE BEISPIELE FÜR DIE ANWENDUNG VON DEEPFAKES?

„Die Technologie gibt uns [...] Wege, Schaden anzurichten und Gutes zu tun; sie verstärkt beides. [...] Aber die Tatsache, dass wir auch jedes Mal eine neue Wahl haben, ist ein neues Gut“ 10), wird Kevin Kelly, der langjährige Chefredakteur und Mitglied des Gründungsteams des Technologiemagazins Wired, zitiert. Kann diese Aussage auch auf Deepfakes zutreffen?

Interessant ist die Technologie besonders für die Filmbranche und hier vor allem in der Postproduktion und Synchronisation. Warum? Gegenwärtig müssen die Filmstudios einen großen Aufwand betreiben, um einen Dialog nachträglich anzupassen.

Die beteiligten Schauspielerinnen und Schauspieler, das notwendige Personal und der Drehort müssen in einem solchen Fall noch einmal gebucht werden. Mit der Technologie, die den Deepfakes zugrunde liegt, könnte man solche Veränderungen innerhalb kürzester Zeit und zu einem Bruchteil der Kosten durchführen. Auch die Synchronisation der Filme könnte deutlich verbessert werden:

Es wäre möglich, die Lippenbewegungen der Schauspielerinnen und Schauspieler an die Worte der Synchronsprecherinnen und Synchronsprecher anzupassen oder die Stimmen gleich zu synthetisieren und an die entsprechende Sprache anzupassen, so dass keine Synchronisation mehr notwendig ist.

Ein Beispiel für solch einen Einsatz liefert ein Video von David Beckham, der für eine Kampagne gegen Malaria wirbt. 11) Er „spricht“ darin in mehreren Sprachen – und jedes Mal scheint sein Mund mit den Worten perfekt synchronisiert zu sein.

Auch der Bereich Bildung stellt ein interessantes Einsatzgebiet dar: So könnten beispielsweise Videos von historischen Figuren erstellt werden, die ihre Geschichte erzählen oder Fragen beantworten. Für viel Medienecho hat das Projekt „Dimensions of History“ 12) der Shoah Foundation der University of Southern California gesorgt, bei dem Interviews mit 15 Holocaust-Überlebenden geführt und holografische Aufnahmen von ihnen gemacht wurden.

Die Wanderausstellung war in verschiedenen Museen in den USA und zuletzt auch im schwedischen Historischen Museum zu sehen. Die Besucherinnen und Besucher der Ausstellung hatten anschließend die Möglichkeit, ihre Fragen an die Hologramme zu stellen. Die Spracherkennungssoftware ordnete die Frage einem Interviewausschnitt zu. Mit dem Einsatz der Deepfake-Technologie könnte dasselbe in größerem Maßstab und mehrsprachig durchgeführt werden.

VERBREITUNG

Es ist nicht einfach, die Verbreitung von Deepfakes exakt zu quantifizieren, zumal davon ausgegangen werden kann, dass ihre Anzahl stetig wächst.

Das Unternehmen Deeptrace, das eine technologische Lösung für die Erkennung von Deepfakes anbietet, hat sich in seinem Report „The State of Deepfakes: Landscape, Threats, and Impact“ 7) um eine genaue Schätzung bemüht. Dem im September 2019 veröffentlichten Bericht zufolge hat sich die Zahl von Deepfakes innerhalb von sieben Monaten von 7.964 im Dezember 2018 auf 14.678 im Juli 2019 fast verdoppelt. Bei 96 Prozent dieser Deepfakes handelt es sich um nicht einvernehmlich erzeugte pornografische Inhalte, die ausschließlich weibliche Körper zeigen.

Vorrangig betroffen sind prominente Frauen, deren gefälschte Bilder zu Tausenden online verfügbar sind. Allein die vier populärsten DeepPorn-Websites verzeichnen laut Deeptrace-Report inzwischen mehr als 134 Millionen Aufrufe gefälschter Videos von weiblichen Prominenten.

Aber auch viele Privatpersonen sind von der bereits erwähnten Rachepornografie betroffen. Der Anstieg wird vor allem durch die bessere Zugänglichkeit sowohl von Werkzeugen als auch von Dienstleistungen ermöglicht, die die Erstellung von Deepfakes auch ohne Programmierkenntnisse möglich machen.

Im Jahr 2019 wurde auch bereits über Fälle berichtet, in denen KI-generierte Sprachklone für Social Engineering verwendet wurden. Im August berichtete The Wall Street Journal 8) von einem ersten Fall KI-basierten Stimmbetrugs – auch bekannt als Vishing (kurz für Voice Phishing) –, der das betroffene deutsche Unternehmen 220.000 Euro kostete. Die Software hat die Stimme des deutschen Managers, samt Melodie und dem leichten deutschen Akzent, so erfolgreich nachgeahmt, dass sein britischer Kollege sofort dem dringenden Wunsch des Anrufers nachgekommen ist, die genannte Summe zu überweisen. Es handelt sich zwar bisher um einen Einzelfall, doch ist davon auszugehen, dass es solche Versuche in Zukunft häufiger geben wird.

Ein signifikanter Teil der medialen Berichterstattung über Deepfakes hat sich auf ihr Potenzial konzentriert, politische Gegner zu diskreditieren und demokratische Prozesse zu untergraben.

Dieses Potenzial hat sich bisher nicht entfaltet. Zwar wurden Videos von Politikern wie Barack Obama, Donald Trump oder Matteo Renzi technisch manipuliert, dies geschah bisher allerdings primär zu Satire- oder Demonstrationszwecken und wurde schnell aufgeklärt.

KONSEQUENZEN

Die Tatsache, dass bisher keine Deepfakes von Politikern zur Desinformation verwendet wurden, bedeutet jedoch mitnichten, dass sie keine Auswirkungen auf den politischen Diskurs hatten. Ein Beispiel, das in den westlichen Medien nur wenig Beachtung fand, zeigt, wie das bloße Wissen um die Existenz von Deepfakes das politische Klima beeinflussen kann:

Gabuns Präsident, Ali Bongo, hatte nach einem Schlaganfall monatelang keine öffentlichen Auftritte absolviert. Nachvollziehbarerweise kochte die Gerüchteküche hoch, und es wurden Stimmen laut, die behaupteten, der Präsident sei verstorben. Um die Spekulationen auszuräumen, wurde im Dezember 2018 ein Video veröffentlicht, in dem er seine übliche Neujahrsansprache hielt. Die Aufnahme hatte jedoch einen konträren Effekt. Viele waren der Meinung, Bongo hätte seltsam ausgesehen, und vermuteten sofort, dass es sich bei dem Video um eine Fälschung handele. Kurz darauf startete das Militär einen missglückten Staatsstreich und nannte den vermeintlichen Deepfake als Teil der Motivation.9)

Die anschließend vorgenommene forensische Analyse hat allerdings die Echtheit der Aufnahme bestätigt. Ali Bongo hat sich inzwischen von seinem Schlaganfall erholt und ist weiterhin im Amt. Dies zeigt, dass die größte Bedrohung durch Deepfakes gar nicht die Deepfakes selbst sein müssen. Allein die technologische Möglichkeit, solche Videos zu erstellen, wirft die Frage auf: Kann man der Authentizität von Bewegtbildern noch vertrauen?

Diese Frage wirft ihre Schatten auf die im Jahr 2020 stattfindenden US-Präsidentschaftswahlen. Bereits im Wahlkampf 2016 haben KI-gestützte Desinformation und Manipulation, vor allem in Form von Microtargeting und Bots, eine Rolle gespielt. Mit Deepfakes ist nun ein weiteres Instrument zum Desinformationsarsenal hinzugekommen. Auch wenn keine oder nur wenige tatsächliche Deepfakes in dem Wahlkampf angewendet werden sollten, werden Politikerinnen und Politiker höchstwahrscheinlich die Möglichkeit dankbar annehmen, echte, aber unvorteilhafte Aufnahmen als solche abzutun.

GIBT ES AUCH POSITIVE BEISPIELE FÜR DIE ANWENDUNG VON DEEPFAKES?

„Die Technologie gibt uns [...] Wege, Schaden anzurichten und Gutes zu tun; sie verstärkt beides. [...] Aber die Tatsache, dass wir auch jedes Mal eine neue Wahl haben, ist ein neues Gut“ 10), wird Kevin Kelly, der langjährige Chefredakteur und Mitglied des Gründungsteams des Technologiemagazins Wired, zitiert. Kann diese Aussage auch auf Deepfakes zutreffen?

Interessant ist die Technologie besonders für die Filmbranche und hier vor allem in der Postproduktion und Synchronisation. Warum? Gegenwärtig müssen die Filmstudios einen großen Aufwand betreiben, um einen Dialog nachträglich anzupassen.

Die beteiligten Schauspielerinnen und Schauspieler, das notwendige Personal und der Drehort müssen in einem solchen Fall noch einmal gebucht werden. Mit der Technologie, die den Deepfakes zugrunde liegt, könnte man solche Veränderungen innerhalb kürzester Zeit und zu einem Bruchteil der Kosten durchführen. Auch die Synchronisation der Filme könnte deutlich verbessert werden:

Es wäre möglich, die Lippenbewegungen der Schauspielerinnen und Schauspieler an die Worte der Synchronsprecherinnen und Synchronsprecher anzupassen oder die Stimmen gleich zu synthetisieren und an die entsprechende Sprache anzupassen, so dass keine Synchronisation mehr notwendig ist.

Ein Beispiel für solch einen Einsatz liefert ein Video von David Beckham, der für eine Kampagne gegen Malaria wirbt.11) Er „spricht“ darin in mehreren Sprachen – und jedes Mal scheint sein Mund mit den Worten perfekt synchronisiert zu sein.

Auch der Bereich Bildung stellt ein interessantes Einsatzgebiet dar: So könnten beispielsweise Videos von historischen Figuren erstellt werden, die ihre Geschichte erzählen oder Fragen beantworten. Für viel Medienecho hat das Projekt „Dimensions of History“ 12) der Shoah Foundation der University of Southern California gesorgt, bei dem Interviews mit 15 Holocaust-Überlebenden geführt und holografische Aufnahmen von ihnen gemacht wurden.

Die Wanderausstellung war in verschiedenen Museen in den USA und zuletzt auch im schwedischen Historischen Museum zu sehen. Die Besucherinnen und Besucher der Ausstellung hatten anschließend die Möglichkeit, ihre Fragen an die Hologramme zu stellen. Die Spracherkennungssoftware ordnete die Frage einem Interviewausschnitt zu. Mit dem Einsatz der Deepfake-Technologie könnte dasselbe in größerem Maßstab und mehrsprachig durchgeführt werden.

VERBREITUNG

Es ist nicht einfach, die Verbreitung von Deepfakes exakt zu quantifizieren, zumal davon ausgegangen werden kann, dass ihre Anzahl stetig wächst.

Das Unternehmen Deeptrace, das eine technologische Lösung für die Erkennung von Deepfakes anbietet, hat sich in seinem Report „The State of Deepfakes: Landscape, Threats, and Impact“ 7) um eine genaue Schätzung bemüht. Dem im September 2019 veröffentlichten Bericht zufolge hat sich die Zahl von Deepfakes innerhalb von sieben Monaten von 7.964 im Dezember 2018 auf 14.678 im Juli 2019 fast verdoppelt. Bei 96 Prozent dieser Deepfakes handelt es sich um nicht einvernehmlich erzeugte pornografische Inhalte, die ausschließlich weibliche Körper zeigen.

Vorrangig betroffen sind prominente Frauen, deren gefälschte Bilder zu Tausenden online verfügbar sind. Allein die vier populärsten DeepPorn-Websites verzeichnen laut Deeptrace-Report inzwischen mehr als 134 Millionen Aufrufe gefälschter Videos von weiblichen Prominenten.

Aber auch viele Privatpersonen sind von der bereits erwähnten Rachepornografie betroffen. Der Anstieg wird vor allem durch die bessere Zugänglichkeit sowohl von Werkzeugen als auch von Dienstleistungen ermöglicht, die die Erstellung von Deepfakes auch ohne Programmierkenntnisse möglich machen.

Im Jahr 2019 wurde auch bereits über Fälle berichtet, in denen KI-generierte Sprachklone für Social Engineering verwendet wurden. Im August berichtete The Wall Street Journal 8) von einem ersten Fall KI-basierten Stimmbetrugs – auch bekannt als Vishing (kurz für Voice Phishing) –, der das betroffene deutsche Unternehmen 220.000 Euro kostete. Die Software hat die Stimme des deutschen Managers, samt Melodie und dem leichten deutschen Akzent, so erfolgreich nachgeahmt, dass sein britischer Kollege sofort dem dringenden Wunsch des Anrufers nachgekommen ist, die genannte Summe zu überweisen. Es handelt sich zwar bisher um einen Einzelfall, doch ist davon auszugehen, dass es solche Versuche in Zukunft häufiger geben wird.

Ein signifikanter Teil der medialen Berichterstattung über Deepfakes hat sich auf ihr Potenzial konzentriert, politische Gegner zu diskreditieren und demokratische Prozesse zu untergraben.

Dieses Potenzial hat sich bisher nicht entfaltet. Zwar wurden Videos von Politikern wie Barack Obama, Donald Trump oder Matteo Renzi technisch manipuliert, dies geschah bisher allerdings primär zu Satire- oder Demonstrationszwecken und wurde schnell aufgeklärt.

KONSEQUENZEN

Die Tatsache, dass bisher keine Deepfakes von Politikern zur Desinformation verwendet wurden, bedeutet jedoch mitnichten, dass sie keine Auswirkungen auf den politischen Diskurs hatten. Ein Beispiel, das in den westlichen Medien nur wenig Beachtung fand, zeigt, wie das bloße Wissen um die Existenz von Deepfakes das politische Klima beeinflussen kann:

Gabuns Präsident, Ali Bongo, hatte nach einem Schlaganfall monatelang keine öffentlichen Auftritte absolviert. Nachvollziehbarerweise kochte die Gerüchteküche hoch, und es wurden Stimmen laut, die behaupteten, der Präsident sei verstorben. Um die Spekulationen auszuräumen, wurde im Dezember 2018 ein Video veröffentlicht, in dem er seine übliche Neujahrsansprache hielt. Die Aufnahme hatte jedoch einen konträren Effekt. Viele waren der Meinung, Bongo hätte seltsam ausgesehen, und vermuteten sofort, dass es sich bei dem Video um eine Fälschung handele. Kurz darauf startete das Militär einen missglückten Staatsstreich und nannte den vermeintlichen Deepfake als Teil der Motivation.9)

Die anschließend vorgenommene forensische Analyse hat allerdings die Echtheit der Aufnahme bestätigt. Ali Bongo hat sich inzwischen von seinem Schlaganfall erholt und ist weiterhin im Amt. Dies zeigt, dass die größte Bedrohung durch Deepfakes gar nicht die Deepfakes selbst sein müssen. Allein die technologische Möglichkeit, solche Videos zu erstellen, wirft die Frage auf: Kann man der Authentizität von Bewegtbildern noch vertrauen?

Diese Frage wirft ihre Schatten auf die im Jahr 2020 stattfindenden US-Präsidentschaftswahlen. Bereits im Wahlkampf 2016 haben KI-gestützte Desinformation und Manipulation, vor allem in Form von Microtargeting und Bots, eine Rolle gespielt. Mit Deepfakes ist nun ein weiteres Instrument zum Desinformationsarsenal hinzugekommen. Auch wenn keine oder nur wenige tatsächliche Deepfakes in dem Wahlkampf angewendet werden sollten, werden Politikerinnen und Politiker höchstwahrscheinlich die Möglichkeit dankbar annehmen, echte, aber unvorteilhafte Aufnahmen als solche abzutun.

GIBT ES AUCH POSITIVE BEISPIELE FÜR DIE ANWENDUNG VON DEEPFAKES?

„Die Technologie gibt uns [...] Wege, Schaden anzurichten und Gutes zu tun; sie verstärkt beides. [...] Aber die Tatsache, dass wir auch jedes Mal eine neue Wahl haben, ist ein neues Gut“ 10), wird Kevin Kelly, der langjährige Chefredakteur und Mitglied des Gründungsteams des Technologiemagazins Wired, zitiert. Kann diese Aussage auch auf Deepfakes zutreffen?

Interessant ist die Technologie besonders für die Filmbranche und hier vor allem in der Postproduktion und Synchronisation. Warum? Gegenwärtig müssen die Filmstudios einen großen Aufwand betreiben, um einen Dialog nachträglich anzupassen.

Die beteiligten Schauspielerinnen und Schauspieler, das notwendige Personal und der Drehort müssen in einem solchen Fall noch einmal gebucht werden. Mit der Technologie, die den Deepfakes zugrunde liegt, könnte man solche Veränderungen innerhalb kürzester Zeit und zu einem Bruchteil der Kosten durchführen. Auch die Synchronisation der Filme könnte deutlich verbessert werden:

Es wäre möglich, die Lippenbewegungen der Schauspielerinnen und Schauspieler an die Worte der Synchronsprecherinnen und Synchronsprecher anzupassen oder die Stimmen gleich zu synthetisieren und an die entsprechende Sprache anzupassen, so dass keine Synchronisation mehr notwendig ist.

Ein Beispiel für solch einen Einsatz liefert ein Video von David Beckham, der für eine Kampagne gegen Malaria wirbt.11) Er „spricht“ darin in mehreren Sprachen – und jedes Mal scheint sein Mund mit den Worten perfekt synchronisiert zu sein.

Auch der Bereich Bildung stellt ein interessantes Einsatzgebiet dar: So könnten beispielsweise Videos von historischen Figuren erstellt werden, die ihre Geschichte erzählen oder Fragen beantworten. Für viel Medienecho hat das Projekt „Dimensions of History“ 12) der Shoah Foundation der University of Southern California gesorgt, bei dem Interviews mit 15 Holocaust-Überlebenden geführt und holografische Aufnahmen von ihnen gemacht wurden.

Die Wanderausstellung war in verschiedenen Museen in den USA und zuletzt auch im schwedischen Historischen Museum zu sehen. Die Besucherinnen und Besucher der Ausstellung hatten anschließend die Möglichkeit, ihre Fragen an die Hologramme zu stellen. Die Spracherkennungssoftware ordnete die Frage einem Interviewausschnitt zu. Mit dem Einsatz der Deepfake-Technologie könnte dasselbe in größerem Maßstab und mehrsprachig durchgeführt werden.