IT-Sicherheit Wie häufig Fake-Profilbilder auf Twitter sind
Automatisiert agierende Social-Media-Profile sind ein mächtiges Werkzeug für das Verbreiten von Propaganda. Oft beinhalten sie KI-generierte Profilbilder. Forschende arbeiten daran, diese identifizieren zu können.
Wie viele mit Künstlicher Intelligenz (KI) erzeugte Profilbilder es in dem Sozialen Netzwerk Twitter (mittlerweile X genannt) gibt, haben Bochumer Forschende mit Kollegen aus Köln und Saarbrücken untersucht. Sie analysierten fast 15 Millionen Accounts und fanden heraus, dass 0,052 Prozent davon ein KI-generiertes Personenbild als Avatar besaßen. „Das klingt im ersten Moment nicht viel, aber solche Bilder sind merklich präsent auf Twitter“, sagt Erstautor Jonas Ricker von der Ruhr-Universität Bochum. „Unsere Analysen geben zudem Hinweise darauf, dass es sich bei vielen der Accounts um Fakeprofile handelt, die unter anderem politische Propaganda oder Verschwörungstheorien verbreiten.“ Das Team stellte die Arbeit am 1. Oktober 2024 in Padua auf dem 27th International Symposium on Research in Attacks, Intrusions and Defenses (RAID) vor.
Die Forschenden der Ruhr-Universität Bochum kooperierten für die Arbeit mit Kollegen des Helmholtz-Zentrums für Informationssicherheit CISPA in Saarbrücken und des Leibniz-Instituts für Sozialwissenschaften GESIS in Köln. Die Arbeiten fanden im Rahmen des Exzellenzclusters Cybersecurity in the Age of Large-Scale Adversaries, kurz CASA, statt.
Tausende von Accounts mit Fake-Profilbildern
„Mithilfe von KI kann man heutzutage täuschend echt aussehende Bilder erzeugen, die in den Sozialen Medien dafür missbraucht werden können, um scheinbar reale Accounts zu erstellen“, erklärt Jonas Ricker. Wie verbreitet solche KI-generierten Profilbilder sind, ist bislang kaum untersucht. Die Forschenden trainierten eine Künstliche Intelligenz darauf, reale von KI-generierten Bildern unterscheiden zu können. Mit diesem Modell analysierten sie automatisiert die Profilbilder von rund 15 Millionen Twitter-Accounts. Die Daten dafür stammten aus März 2023. Alle Accounts, die kein Porträtbild als Avatar nutzten, schlossen die Forschenden aus ihrem Datensatz aus. Etwa 43 Prozent aller Accounts verblieben in der Analyse. 7.723 davon klassifizierte das Modell als KI-generiert. Die Ergebnisse überprüften die Forschenden stichprobenartig auch manuell.
Im nächsten Schritt schaute sich das Team an, wie sich Accounts mit KI-generierten Bildern im Vergleich zu Accounts mit realen Personenbildern auf der Plattform verhielten. Fake-Bild-Accounts hatten im Durchschnitt weniger Follower*innen und folgten auch selbst weniger anderen Accounts. „Auffällig war auch, dass über die Hälfte der Fake-Bild-Accounts erst 2023 erstellt worden ist, teils wurden hunderte Accounts in einigen Stunden aufgesetzt – ein Hinweis, dass es sich nicht um echte Nutzerinnen oder Nutzer handelt“, folgert Jonas Ricker. Neun Monate nach der ersten Datensammlung schauten die Forschenden, ob die Fake-Bild-Accounts und eine gleiche Anzahl von Echt-Bild-Accounts noch aktiv waren und stellten fest, dass über die Hälfte der Fake-Bild-Accounts zu diesem Zeitpunkt von Twitter gesperrt worden war. „Ein weiteres Indiz, dass es sich um Accounts handelt, die unlauter agiert haben“, so Ricker.
Desinformation und politische Propaganda
Die Wissenschaftlerinnen und Wissenschaftler untersuchten darüber hinaus die Inhalte, mit denen die Fake-Bild-Accounts auf Twitter in Erscheinung traten. Dabei zeigten sich einige wiederkehrende Themen, etwa Politik – häufig mit Trump-Bezug –, Covid-19 und Impfungen, der Ukraine-Krieg, Verlosungen oder Finanzen inklusive Kryptowährungen. „Wir können nur mutmaßen, was dahintersteckt“, sagt Jonas Ricker. „Aber es ist davon auszugehen, dass einige Accounts erstellt wurden, um gezielt Desinformationen oder politische Propaganda zu verbreiten.“
In Zukunft will das Team weiter an der automatisierten Erkennung von Fake-Bildern arbeiten, auch von solchen, die mit neueren KI-Modellen erzeugt werden. In der vorliegenden Studie beschränkten sich die Wissenschaftlerinnen und Wissenschaftler auf das Modell „StyleGAN 2“, das der Webseite thispersondoesnotexist.com zugrunde liegt. Mit dieser können unechte Personenbilder mit einem Klick generiert werden. „Wir nehmen an, dass diese Seite oft für das Erzeugen von KI-generierten Profilbildern genutzt wird“, so Ricker. „Denn solche KI-generierten Bilder sind schlechter zurückzuverfolgen, als wenn sich jemand an einem echten Bild einer fremden Person für sein Profil bedient.“
