Alte Überwachungsfantasien, neue KI-Systeme und junge Unterstützung
Wir haben Grund zum Feiern, denn die diesjährigen BigBrotherAwards sind unser 25. Jubiläum! Wir haben diesen Anlass genutzt, um eine neue Generation mit ins Boot zu holen: In einer neuen Kategorie „jung und überwacht“ haben Kinder und Jugendliche der Gruppe Teckids eigenständig zwei Beiträge zu den den alltäglichen Datenschutzproblemen der Jugend vorgestellt. In den restlichen Kategorien gab es kein Mangel an Preisträgerkandidaten, allen voran mit Innenminister Alexander Dobrindt (CSU). Weitere Preisträger sind die Social-Media-Plattform TikTok, das Unternehmen Google für den KI-Assistenten Gemini, sowie das Verwaltungsgericht Hannover und das Bundesarbeitsgericht. Abschließend wird der Bürokratieabbau in der Kategorie „Was mich wirklich wüten macht“ für die unerlässlichen Anstrengungen im Dienste der Big-Tech-Unternehmen ausgezeichnet. https://bigbrotherawards.de/2025
Der BigBrotherAward in der Kategorie Technik geht an Google für den KI-Assistenten Gemini, der ab jetzt unauffällig, aber zwangsweise auf Android Mobiltelefonen installiert wird. Gemini erhält Zugriff auf umfangreiche Nutzungs- und Kommunikationsdaten, die für das Training von Googles KI genutzt und auch von menschlichen Mitarbeitenden eingesehen werden. Darunter könnten komplette Chatverläufe fallen – ohne dass der Kommunikationspartner eingewilligt hat. Die Deaktivierung dieses KI-Assistenten erfordert komplexe Einstellungen in verschiedenen Menüs.
Behörden & Verwaltung (2025) –Bundesminister des Inneren Alexander Dobrindt
Der BigBrotherAward 2025 in der Kategorie „Behörden und Verwaltung“ geht an Bundes-Innenminister Alexander Dobrindt (CSU) für sein geplantes „Sicherheitspaket“, das den umfangreichen Einsatz von Gesichtersuchmaschinen vorsieht. Dobrindts Behörde will mit datenschutzwidrigen Anbietern wie Clearview AI und PimEyes zusammenarbeiten, die auf alle online zu findenden Bilder zugreifen – ganz gleich, ob sie mit oder ohne Einverständnis der Betroffenen eingestellt wurden. Der Entwurf des Innenministers zielt darauf, diese illegale Schnüffel-Praxis zu legitimieren. Zudem will Dobrindt die hochumstrittene Software Palantir des Anti-Demokraten Peter Thiel auf Bundesebene einführen.
Arbeitswelt (2025) –Verwaltungsgericht Hannover und das Bundesarbeitsgericht
Der BigBrotherAward in der Kategorie Arbeitswelt 2025 geht an das Verwaltungsgericht Hannover und das Bundesarbeitsgericht für krasse Fehlurteile in Sachen Amazon. Das Verwaltungsgericht hat die Totalüberwachung von Angestellten eines Amazon-Logistikzentrums abgesegnet. Das Bundesarbeitsgericht verweigerte einem Amazon-Betriebsrat das Mitbestimmungsrecht bei der Einführung einer Software, die Beschäftigtendaten rechtswidrig in den USA verarbeitet.
Social Media (2025) –TikTok
Den BigBrotherAward 2025 in der Kategorie „Social Media“ erhält die chinesische Plattform TikTok für Verletzungen des Datenschutzes, für die Verbreitung von Fake-News und Hatespeech, für die Manipulation von Menschen in Bezug auf ihre politischen Überzeugungen, ihre Wertvorstellungen und ihr Konsumverhalten durch undurchsichtige Algorithmen sowie für die Schaffung von Abhängigkeiten, insbesondere bei Minderjährigen.
Was mich wirklich wütend macht (2025) –Bürokratieabbau
Bürokratieabbau ist ein vergifteter Begriff. Er suggeriert, dass etwas für Bürger.innen einfacher wird. Tatsächlich aber geht es oft um Deregulierung und den Abbau von Gesetzen, die Verbraucher.innen schützen. Große US-Tech-Konzerne wollen die europäische Digitalgesetzgebung am liebsten komplett kippen. Die EU-Kommission und die deutsche Bundesregierung machen sich mitschuldig, wenn sie die Digitalgesetzgebung zur Verhandlungsmasse bei einem Deal um Strafzölle machen.
Aus der Laudatio: „Besonders engagiert beim Kampf gegen die Bürokratie sind Wirtschaftsunternehmen. Und ihre Vorfeldorganisationen wie die Lobbyisten von der „Initiative Neue Soziale Marktwirtschaft“. Die kriegen sich gar nicht wieder ein vor Eifer. Zumindest solange, wie es um staatliche Bürokratie geht. Aber ist Bürokratie ist wirklich per se eine staatliche Angelegenheit? Dann versuchen Sie mal, bei einem großen Konzern jemanden ans Telefon zu bekommen. Sobald es um ein Problem geht, wenn Sie Service brauchen, eine Frage haben, eine Beschwerde loswerden, ein Abo kündigen, eine Reparatur oder eine Rückerstattung haben wollen, wird jeder sinnvolle Kontakt planvoll erschwert und Sie werden durch kunstvoll orchestrierte Ermüdungsparcours geschickt. Um Amazon Prime oder Facebook zu kündigen, muss man sich durch komplizierte Navigationsmenüs durchklicken…“ Laudatorin Rena Tangens
NEU: Kategorie jung & überwacht (2025) -soziale Exklusion durch WhatsApp; iPad-Zwang in Schulen
In der Kategorie „jung & überwacht“ bei den BigBrotherAwards 2025 zeigt die Jugendorganisation Teckids zwei Probleme aus der digitalen Lebenswelt von Jugendlichen auf.
Die folgende Erläuterung der regierungseigenen Bundeszentrale für politische Bildung (bpb) für KI im Einsatz gegen Migration (euphemistisch: „Migrationsmanagement“), erläutert einige Aspekte dieser Problematik. Seit 9/11 führen nicht nur die USA, sondern offenbar „der Westen“, also auch wir, einen „Krieg gegen den Terror“, der eine Einschränkung von Bürgerrechten beinhaltet. Kontrolliert wird dabei prinzipiell jeder von uns, speziell aber die Gruppe der sogenannten „Gefährder“, die sich offenbar insbesondere bei Migranten finden lässt; ihr Merkmal ist „eine nicht näher konkretisierbare Gefährlichkeit, die sich in der Zukunft ausbilden könnte. (…) Ziel ist hierbei, schwer bestimmbare konkrete Zeitpunkte und Formen eines terroristischen Anschlags zu kontrollieren und damit auch aufsteigende Ängste in der Bevölkerung zu reagieren.“ Siehe: „Gefährder“: Der Migranten-Minority Report.
Ängste der Bevölkerung sollen also „reagiert werden“ (nicht auf sie reagieren!); ein typischer Freudscher Versprecher, bei dem die wahre Intention entschlüpfte? Sollen unsere Ängste „reagiert werden“, also reaktiviert, abreagiert oder agitiert werden? Ängste helfen Machthabern, Bevölkerungen zu kontrollieren und in ihrem Sinne zu manipulieren. Ängste machen Menschen bereit zum Hass, zur Blindheit für vernünftige Lösungen, zur fanatischen Aufrüstung und Militarisierung. Andersartige, Andersfarbige, Migranten sind dafür die naheliegenden Sündenböcke, vor denen im Sinne reaktionärer und rechtsextremer Ideologien Angst geschürt werden soll. Wo Multi-Milliarden und Billionen für Rüstung (statt für die Menschen) ausgegeben werden, fällt auch für BigTech und KI einiges ab: Die gleich genannte Überwachungsfirma ANDURIL klingt nicht zufällig ähnlich wie Peter Thiels PALANTIR. Projekte zur Emotionserkennung, KI-Lügendetektoren und vorausschauender Polizeiarbeit (engl. predictive policing) laufen bereits.
Wie dabei KI gegen Migranten eingesetzt wird erläutert für die Bundesregierung das bpb im jetzt folgenden Text von Petra Molnar. KI dient dabei für Prognosen zum Migrationsgeschehen, für Grenz- und Fernüberwachung, für Identitäts- und biometrische Systeme, Gesichtserkennung, Asyl- und Visumsbearbeitung, für die Steuerung von „Alternativen zur Inhaftierung“, die auf ständige Überwachung hinauslaufen. KI bildet den digitalen Stacheldrahtverhau auf den künftigen „smart borders“, die sozial benachteiligten Migranten jene Freizügigkeit rauben, die wohlhabenden Touristen (einstweilen noch) offensteht. Das völkerrechtlich gebotene (!) Asylrecht bleibt dabei auf der Strecke, wenn automatisierte Entscheidungen mit digitalem racial Bias oder ähnlichem Unrecht fallen.(T.Barth) Folgender Text übernommen von bpb:
Künstliche Intelligenz im Migrationsmanagement: Chancen, Herausforderungen und Risiken
Petra Molnar (bpb) 04.09.2025 / 9 Minuten zu lesen
Weltweit wird künstliche Intelligenz zunehmend im Migrationsmanagement eingesetzt – auch in der EU und in Deutschland. Welche Entwicklungen, Chancen und Risiken gehen damit einher?
verändert in rasanter Geschwindigkeit die Art und Weise, wie Regierungen Migration steuern und Grenzen kontrollieren. Von prognosebasierter Datenanalyse und Identitätsprüfung bis hin zu Grenzüberwachung und Asylentscheidungen – KI-Technologien werden zunehmend in die Infrastruktur der Migrationskontrolle in Europa und weltweit integriert. Dabei wird argumentiert, dass neue Technologien wie KI die Steuerungssysteme im Migrationsmanagement effizienter, sicherer und kostengünstiger machen können. Angesichts der aktuellen Entwicklungen im Bereich der digitalen Technologien bestehen jedoch auch ernsthafte Risiken für die Menschenrechte, die Privatsphäre und die Grundsätze des Asylrechts. Dieser Artikel basiert auf jahrelangen Forschungsarbeiten an verschiedenen Grenzen weltweit und gibt einen Überblick darüber, wie KI im Migrationsmanagement in Europa und weltweit eingesetzt wird. Wichtige Debatten über die Auswirkungen dieser Entwicklung auf Recht, Ethik und Gesellschaft werden dabei ebenfalls in den Blick genommen.
Wo und wie wird KI eingesetzt?
Weltweit und in der gesamten Europäischen Union (EU) wird KI mittlerweile in verschiedenen Phasen des Migrationsmanagements eingesetzt. Zu den wesentlichen Feldern gehören:
Grenzüberwachung: KI-gestützte Systeme werden zur Überwachung von Grenzen eingesetzt. Beispielsweise integriert das Europäische Grenzüberwachungssystem (Eurosur) Satellitenbilder, Drohnen und andere Sensordaten, die mit KI analysiert werden, um die Außengrenzen zu überwachen – insbesondere im Mittelmeerraum. An Landgrenzen und Flughäfen werden Algorithmen zur Gesichtserkennung und Objekterkennung eingesetzt, um Personen zu identifizieren, die irregulär einreisen oder als risikoreich gelten. In den Vereinigten Staaten stellen Unternehmen wie die US-amerikanische Firma Anduril autonome Überwachungstürme entlang der Südgrenze bereit, die mithilfe von KI-Überwachung Bewegungen erkennen und verfolgen und dabei helfen sollen, Personen in der Sonora-Wüste im Südwesten der USA abzufangen.
Identitäts- und biometrische Systeme: KI kann auch bei der Verarbeitung biometrischer Daten wie Fingerabdrücken, Iris-Scans und Gesichtsbildern zur Identitätsprüfung helfen. Eurodac, die EU-Datenbank, in der Fingerabdrücke von Asylbewerber:innen gespeichert werden, nutzt KI für einen effizienteren und genaueren Abgleich. In Deutschland hat das Bundesamt für Migration und Flüchtlinge (BAMF) eine Software zur Erkennung von Sprachen und Dialekten getestet, die die Herkunft von Personen, die einen Asylantrag gestellt haben, feststellen soll. Der Einsatz dieser Software hatte in der Folge Debatten darüber ausgelöst, wie genau und fair solche Systeme und ihre Ergebnisse sind. Die deutsche Bundespolizei setzt an wichtigen Verkehrsknotenpunkten und Grenzen biometrische und Gesichtserkennungstechnologien ein, darunter auch prognostische Komponenten. Gleichzeitig helfen automatisierte Dokumentenprüfsysteme dabei, gefälschte Reisedokumente zu identifizieren.
Asyl- und Visumsbearbeitung: KI-Anwendungen werden zunehmend zur Prüfung von Visums- und Asylanträgen eingesetzt. Einige Länder wie Kanada verwenden Algorithmen zum automatisierten Vorsortieren von Visumanträgen, während die Vereinigten Staaten Risikobewertungsalgorithmen einsetzen, die die Daten der Antragstellenden analysieren, um potenzielle Betrugs- oder Sicherheitsrisiken vorherzusagen, und dafür auch Daten verwenden, die aus sozialen Medien gesammelt wurden. Diese Systeme versprechen zwar Effizienz, werfen jedoch Bedenken hinsichtlich algorithmischer Verzerrungen, ordnungsgemäßer Verfahren und des Rechts auf individuelle Beurteilung auf. In Deutschland setzt das BAMF maschinelle Übersetzungsprogramme ein, um das Dolmetschen von Anhörungen im Asylverfahren und die automatisierte Dokumentenprüfung zu unterstützen. Fragen hinsichtlich ihrer Genauigkeit und möglichen Auswirkungen auf Asylentscheidungen bleiben hier bisher offen.
Prognosen zum Migrationsgeschehen: Regierungen und internationale Behörden wie die EU-Grenzschutzagentur Frontex nutzen KI zur Analyse großer Datensätze – darunter Daten aus sozialen Medien und Klimadaten –, um Migrationsmuster vorherzusagen. Diese zukunftsprognostizierenden Analysen sollen Frühwarnsysteme und die Ressourcenplanung unterstützen. Allerdings sind diese Modelle zur Vorhersage von Migrationsbewegungen oft nicht transparent. Befürchtet wird hierbei, dass sie zu präventiven Grenzschließungen oder Kontrollmaßnahmen sowie zu Aktivitäten wie dem Abfangen von Schutzsuchenden und illegalen Zurückweisungen ( Pushbacks) führen können.
Fernüberwachung und ‚Alternativen‘ zur Inhaftierung: Elektronische Fußfesseln, GPS-fähige Smartphones und Ortungsgeräte sowie KI-gesteuerte Check-in-Systeme werden als Alternativen zur Inhaftierung von Einwanderer:innen beworben, sind jedoch oft mit einer ständigen Überwachung verbunden. Diese Technologien werden in den USA, Großbritannien und anderen Ländern eingesetzt und manchmal an private Unternehmen ausgelagert.
Wer entwickelt und fördert diese Systeme?
An der Entwicklung von KI im Migrationsmanagement sind sowohl staatliche als auch privatwirtschaftliche Akteure beteiligt. Große Technologieunternehmen, Rüstungsfirmen und KI-Startups entwickeln und vermarkten Anwendungen für Regierungen. In Europa unterstützt die EU-Grenzschutzagentur Frontex technologische Innovationen, während die Finanzierung aus regionalen Forschungsprogrammen wie Horizon 2020 und dem Fonds für innere Sicherheit (ISF) stammt. Insbesondere Deutschland hat über das BAMF und die Bundespolizei in Identitätsfeststellungen anhand biometrischer Merkmale, Sprachanalyse und automatisierte Systeme zur Dokumentenanalyse investiert. An mehreren von der EU finanzierten Pilotprojekten waren auch deutsche Partner:innen beteiligt, darunter Universitäten und Forschungsinstitute.
Staaten wie die USA, Kanada und Australien sind ebenfalls führend im Bereich des Einsatzes von KI an ihren Grenzen und arbeiten häufig mit Technologieunternehmen wie den US-amerikanischen Firmen Palantir und Anduril oder der israelischen Firma Elbit Systems zusammen. Das Interesse des privaten Sektors ist Teil eines wachsenden und lukrativen, mehrere Milliarden Euro schweren „Industriekomplexes“ im Bereich der Grenzsicherung, in dem private Gewinninteressen und öffentliche Sicherheitsinteressen einander ergänzen.
Akteur:innen, die den Einsatz von KI im Migrationsbereich befürworten, verweisen auf mehrere potenzielle Vorteile. So wird häufig Effizienz als einer der wichtigsten Treiber für den Einsatz von KI-Anwendungen genannt. Staaten, die KI einsetzen argumentieren, dass die Automatisierung von Routineaufgaben Rückstände bei der Bearbeitung von Asyl- und Visumsanträgen reduzieren, die Datenanalyse optimieren und die Koordination zwischen den Behörden verbessern kann. Ein weiterer wichtiger Treiber ist das Versprechen der Genauigkeit und die Tatsache, dass KI den biometrischen Abgleich und die Identitätsprüfung verbessern und damit Betrug und Verwaltungsfehler reduzieren kann. Im Kontext des derzeitigen Fokus auf Sicherheit, der die Politikgestaltung im Bereich des Migrationsmanagements prägt, zielen die KI-gestützte verbesserte Überwachung und Risikobewertung darauf ab, irreguläre Grenzübertritte oder gefälschte Dokumente aufzudecken. Schließlich ist auch die Vorhersagekraft der KI verlockend, da KI-gestützte Prognosen als Möglichkeit dargestellt werden, sich auf umfangreiche Migrationsbewegungen vorzubereiten, humanitäre Maßnahmen zu unterstützen und Ressourcen besser zu verteilen.
Mit solchen Vorteilen vor Augen werden von Staaten und der Privatwirtschaft Investitionen in KI begründet, mit dem Ziel sogenannter „intelligenter Grenzen“ (smart borders). Diese sollen sowohl sicher als auch technologisch fortschrittlich sein. In Deutschland werden solche Innovationen auch als Teil einer umfassenderen Digitalisierung des Migrationsmanagements angesehen, die mit den EU-Strategien für die digitale Transformation im Einklang steht.
Herausforderungen und Kritik
Trotz dieser Versprechen argumentieren Akteure aus der Zivilgesellschaft, Forschende und Betroffenen, dass der Einsatz von KI im Migrationsmanagement ernsthafte ethische und rechtliche Risiken birgt. Beispielsweise können KI-Systeme Diskriminierung und systemischen Rassismus verschärfen, da sie oft die Vorurteile in den Daten widerspiegeln, mit denen sie trainiert wurden. So ist etwa die Gesichtserkennung bei Menschen mit dunklerer Hautfarbe weniger genau, was das Risiko für Fehler bei ihrer Identifizierung erhöht. Risikobewertungssysteme können Angehörige bestimmter Nationalitäten oder ethnischer Gruppen unverhältnismäßig stark benachteiligen. Außerdem mangelt es erheblich an Transparenz bei der Entwicklung und dem Einsatz neuer Technologien. Bei vielen KI-Systemen weiß die Öffentlichkeit nur wenig darüber, wie sie ihre Entscheidungen treffen. Diese Undurchsichtigkeit untergräbt die Rechenschaftspflicht und macht es für Betroffene schwierig, schädliche Folgen anzufechten, wenn Fehler gemacht werden.
Auch die Rechte auf Privatsphäre und Datenschutz sind betroffen: Werden biometrische und personenbezogene Daten gesammelt, gespeichert und analysiert, birgt dies erhebliche Risiken für die Privatsphäre, insbesondere wenn es um sensible Daten von marginalisierten Gruppen wie Menschen auf der Flucht geht. Die unbefugte Weitergabe von Daten und Hackerangriffe sind ebenfalls reale Bedrohungen. Zudem können Menschen auf der Flucht, die sich in einer prekären Lage befinden, oft keine sinnvolle Einwilligung in die Erfassung und den Umgang mit ihren Daten geben.
Rechtlich gesehen können KI- und Überwachungstechnologien, die Menschen daran hindern in Sicherheit zu gelangen, das bestehende Recht auf Asyl untergraben. Automatisierte Entscheidungen können außerdem dazu führen, dass Schutz überproportional verweigert wird oder es aufgrund fehlerhafter Risikobewertungen zu vermehrten Inhaftierungen kommt. Rechtliche Risiken dieser Art stünden im Widerspruch zum geltenden Völkerrecht, das eine individuelle Prüfung von Asylgesuchen und das Non-Refoulement-Prinzip
beinhaltet. Auch ist oft unklar, wer für durch KI verursachte Schäden verantwortlich ist und haftbar gemacht werden kann – der Staat, ein Auftragnehmer, der Softwareentwickler oder die Person bei der Einwanderungsbehörde, die die Anwendung verwendet? Oft ist der Rechtsschutz in diesem neueren Bereich wenig ausgeprägt, was das Einlegen von Rechtsmitteln erschwert – insbesondere in Grenzgebieten, die bereits von intransparenten und ermessensabhängigen Entscheidungen geprägt sind.
Rechtliche Rahmenbedingungen und Kontrolle
Derzeit ist die globale Regulierung im Bereich der KI noch schwach, wobei Innovationen Vorrang vor rechtsbasierten Ansätzen für digitale Grenzkontrolltechnologien haben. Allerdings gelten mehrere internationale und regionale Rechtsinstrumente für den KI-Einsatz im Migrationsbereich. So schützt beispielsweise der Internationale Pakt über bürgerliche und politische Rechte (ICCPR) das Recht auf Privatsphäre (Artikel 17) und das Recht auf Freiheit und Sicherheit (Artikel 9). Diese Rechte müssen im Migrationskontext auch bei der Anwendung von Technologien gewahrt werden. Die Genfer Flüchtlingskonvention von 1951 verpflichtet die Staaten zudem, Zugang zu Asyl zu gewähren und verbietet die Zurückweisung in Gebiete, in denen den betroffenen Personen Folter oder unmenschliche oder erniedrigende Behandlung drohen (Artikel 33). Automatisierte Entscheidungen, die den Zugang zum Asylbegehren blockieren, können gegen diese Schutzbestimmungen verstoßen. Nach EU-Recht regelt die Datenschutz-Grundverordnung (DSGVO) die Datenverarbeitung, einschließlich biometrischer Daten, und die EU-Grundrechtecharta garantiert das Recht auf Privatsphäre, Datenschutz und Nichtdiskriminierung. Vor kurzem hat die EU das Gesetz zur Regulierung künstlicher Intelligenz verabschiedet. Allerdings liegt hier nicht der Schutz der Rechte von Menschen auf der Flucht im Fokus.
Deutschland unterliegt als EU-Mitgliedstaat diesen rechtlichen Rahmenbedingungen, entwickelt jedoch auch eigene Durchführungsbestimmungen. Zivilgesellschaftliche Organisationen, die sich für die Rechte von Flüchtlingen und Migrant:innen einsetzen, haben mehr Transparenz hinsichtlich des Einsatzes von KI in der deutschen Migrationspolitik gefordert, darunter die Offenlegung von Verträgen und Folgenabschätzungen. Die Kontrolle in der Praxis bleibt jedoch begrenzt. Grenzgebiete unterliegen oft Notfall- oder Ausnahmeregelungen. Zudem können private Unternehmen Technologien durch Geschäftsgeheimnisse schützen. Unabhängige systematische Überprüfungen, Folgenabschätzungen und Kontrollmöglichkeiten sind jedoch für eine rechtskonforme Entwicklung und den Einsatz von Technologien an den Grenzen und zur Steuerung der Migration notwendig.
Ausblick
In einer von technologischem Fortschritt geprägten Welt, wird KI voraussichtlich eine immer wichtigere Rolle im Migrationsmanagement spielen. So werden beispielsweise das künftige Einreise-/Ausreisesystem (EES) der EU und das Europäische Reiseinformations- und -genehmigungssystem (ETIAS) KI für das Erstellen von Risikoprofilen und automatisierte Grenzkontrollen nutzen. Projekte zur Emotionserkennung, KI-Lügendetektoren und vorausschauender Polizeiarbeit wurden ebenfalls bereits getestet, allerdings auch weithin kritisiert.
Wissenschaftler:innen und Menschenrechtsorganisationen fordern einen vorsorgenden Ansatz: gründliche Tests, um zu gewährleisten, dass Menschenrechte eingehalten werden, Transparenz und Kontrollmechanismen sowie eine breite öffentliche Debatte, bevor Technologien eingeführt werden. Einige Akteur:innen, darunter das Büro des Hochkommissars der Vereinten Nationen für Menschenrechte (OHCHR), schlagen ein vorübergehendes Aussetzen bestimmter Migrationstechnologien vor, insbesondere in Hochrisikosituationen. Vor allem aber werden die künftigen Entwicklungen der KI im Bereich Migration und an den Grenzen nicht nur von rechtlichen Garantien und demokratischer Rechenschaftspflicht abhängen, sondern auch davon, dass die menschlichen Kosten dieser Technologien anerkannt werden. KI-Systeme sind keine abstrakten Werkzeuge. Sie wirken sich auf reale Menschen aus, die sich oft in prekären und unsicheren Situationen befinden. Es ist wichtig, die Erfahrungen und Rechte von Menschen auf der Flucht in Diskussionen über den Einsatz von KI einzubeziehen.
KI-Anwendungen für das Migrationsmanagement werfen tiefgreifende rechtliche, ethische und soziale Fragen auf. Wenn Regierungen neue Technologien einführen, gilt es sicherzustellen, dass Effizienz und Sicherheit mit Menschenrechten, Würde und Gerechtigkeit vereinbar bleiben. Im Mittelpunkt dieser Debatten stehen Menschen, nicht nur Datenpunkte. Transparente Regeln, eine strenge Kontrolle und die Verpflichtung zu einem menschenzentrierten Design, das auch das Fachwissen der betroffenen Individuen und Communities berücksichtigt, sollten jede zukünftige Nutzung von KI im Migrationsbereich leiten.
Dieser Text ist unter der Creative Commons Lizenz „CC BY-NC-ND 4.0 – Namensnennung – Nicht kommerziell – Keine Bearbeitungen 4.0 International“ veröffentlicht. Autor/-in: Petra Molnar für bpb.de. Sie dürfen den Text unter Nennung der Lizenz CC BY-NC-ND 4.0 und des/der Autors/-in teilen. Urheberrechtliche Angaben zu Bildern / Grafiken / Videos finden sich direkt bei den Abbildungen.
Stalder, Felix: Kultur der Digitalität. Suhrkamp Verlag (edition suhrkamp, Bd.2679), Berlin 2016, 283 S., 18,00 Euro, ISBN 978-3-518-12679-0.
Thomas Barth
Felix Stalder ist ein Schweizer Kulturphilosoph, der sich in seinem Buch „Kultur der Digitalität“ mit der Ko-Evolution von digitalen Technologien, Gesellschaft und Kultur befasst. Er warnt darin unter Berufung auch auf Edward Snowden und Julian Assange vor einer schleichenden Entmündigung, die auf uferlose Überwachung und technokratische Massenmanipulation setzt.
Stalders interdisziplinärer Ansatz verbindet philosophisches Denken mit Soziologie, Medien- und Politikwissenschaft, um Digital- und Internetkultur zu analysieren und das utopische Potential digitaler Commons mit ihren Open-Source-Projekten zu beleuchten. Er blickt dabei auch auf dunkle Wurzeln und Gefahren der Digitalität, die er vor allem in Neoliberalismus, Profitorientierung und bei westlichen (!) Geheimdiensten lokalisiert; dies überrascht, denn sonst kreisen westliche Diskurse über Manipulationen im Internet eher um russische und chinesische Geheimdienste. Stalder warnt vor Gefahren von Algorithmisierung, Überwachung und massenmanipulativer Post-Demokratie, zieht jedoch letztlich ein optimistisches Fazit. Die Commons zeigen trotz heutiger Dominanz der Technokraten mit ihrer neoliberalen TINA-Ideologie („There is no alternative“, Thatcher/Merkel S.206) einen offenen „Raum der Zukunft“ (S.281).
Stalder entwirft ein facettenreiches Bild der digitalen Kultur, die geprägt sei von Fluidität, Vernetzung und stetigem Wandel, bei dem sich unser Verständnis von Raum, Zeit, Identität und Macht grundlegend veränderte. Er stellt die These auf, dass die Digitalität sich nicht in technologischer Innovationen erschöpft, sondern durch neue Formen der Selbstorganisation, des politischen Engagements und der kulturellen Produktion geprägt ist. Katalysator ist dabei das Internet als Medium mit spezifischen Formen des Austauschs. Drei zentrale Formen der Kultur der Digitalität sind die Referentialität (kulturelles Material wird ubiquitär zugänglich und fließt in eine explodierende Produktion von Kulturgütern), die Gemeinschaftlichkeit (kulturelle Ressourcen werden geteilt und Bedeutungen durch stetige Kommunikation stabilisiert) und die Algorithmizität (die Informationsflut wird digital geordnet, aber ebenso werden Gesellschaft und Politik technokratisch entpolitisiert).
Kooperation und der Begriff der Digitalität
Zentrales Anliegen Stalders sind Potenziale der Digitalität für eine demokratische und partizipative Gesellschaft. Er plädiert dafür, bestehende Hierarchien aufzubrechen und neue Formen der Kooperation zu ermöglichen -vor allem in digitalen Commons, deren Wurzeln er in der Open Source und Open Software-Bewegung schon der frühen Internet Communities sieht, etwa den Debian-, GNU- und Linux-Projekten. Darin zeige sich eine digital möglich gewordene Neuverhandlung von gesellschaftlichen Werten und Normen im digitalen Zeitalter: Anstelle staatlicher Hierarchien und Profitorientierung der Konzerne trete die freie Kommunikation der Netze, die auf Meritokratie und Freiwilligkeit basiere. Das Linux-Betriebssystem Ubuntu zeigt in seinem Namen nicht zufällig eine interkulturelle Referenz auf den vielschichtigen Begriff der Bantusprache, der Menschenwürde und vernetzte Gemeinschaftlichkeit verbindet (vgl. Afrotopia von Felwine Sarr).
Stalder definiert den Begriff der Digitalität als eine kulturelle Struktur, die sich durch die Veränderung von Wissen, Macht und Kommunikation in der digitalen Ära auszeichne. Digitale Technologien haben zwar einen tiefgreifenden Einfluss auf verschiedene Aspekte unseres Lebens, vom individuellen Verhalten über soziale Interaktionen bis hin zur politischen Organisation.
Laut Stalder ist Digitalität jedoch keineswegs nur eine technologische Entwicklung, sondern vielmehr eine komplexe kulturelle Dynamik, die unsere Vorstellungen von Wahrheit, Realität und Identität in Frage stellt. Er reklamiert eine „im weitesten Sinne poststrukturalistische Perspektive“, Kultur sei heterogen, hybrid und „von konkurrierenden Machtansprüchen und Machtdispositiven durchzogen“, von „Begehren, Wünschen und Zwängen“ getrieben, Kultur mobilisiere diverse Ressourcen in der Konstituierung von Bedeutung (S.17).
„’Digitalität‘ bezeichnet damit jenes Set von Relationen, das heute auf Basis der Infrastruktur digitaler Netzwerke in Produktion, Nutzung und Transformation materieller und immaterieller Güter sowie der Konstitution und Koordination persönlichen und kollektiven Handelns realisiert wird.“ (S.18)
Damit solle jedoch nicht Digitaltechnik ins Zentrum gerückt oder Digitales von Analogem abgegrenzt werden. Analoges würde nicht verschwinden, sondern „neu- und teilweise sogar aufgewertet“. „Digitalität“ verweise vielmehr auf historisch neue Möglichkeiten der Konstitution und Verknüpfung von Akteuren (menschlichen wie nichtmenschlichen):
„Der Begriff ist mithin nicht auf digitale Medien begrenzt, sondern taucht als relationales Muster überall auf und verändert den Raum der Möglichkeiten vieler Materialien und Akteure.“ (S.18)
Stalder knüpft an den Begriff des „Post-Digitalen“ von Florian Cramer an, der damit Praktiken bezeichnet, die sich zwar in Digitalmedien entwickelten, deren offene Interaktionsform sich jedoch immer weiter verbreite. Stalders Begriff der Digitalität vermeide jedoch das missverständliche Präfix „Post-“, das fälschlich so gelesen werden könne, dass „etwas vorbei sei“, und löse sich zugleich von Cramers technikfixiertem Kontext der Medienkunst. Stalder nimmt in diesem Sinne die ganze Gesellschaft in den Blick, denn „…die Präsenz der Digitalität jenseits der digitalen Medien, verleiht der Kultur der Digitalität ihre Dominanz.“ (S.20)
Nicht technologische Entwicklungen allein hätten der Digitalität den Weg gebahnt, sondern auch Politik, Kultur und Ökonomie. Wichtig erscheinen Stalder insbesondere der Aufstieg der Wissensökonomie und der Kritik an Heteronormativität und Postkolonialismus. Die Wissensökonomie habe seit den 1960ern explizit den wachsenden Informations- und Wissensbedarf von Behörden und Konzernen in westlichen Konsumgesellschaften thematisiert. Dazu gehöre die Massenmanipulation durch immer ausgefeiltere Werbung, Propaganda und PR, die der Freud-Neffe Edward Bernays maßgeblich entwickelte:
„Kommunikation wurde zu einem strategischen Feld für unternehmerische und politische Auseinandersetzungen und die Massenmedien zum Ort der Handlung… Eine Medienindustrie im modernen Sinne entstand, die mit dem rasch wachsenden Markt für Werbung expandierte.“ (S.29f.)
Man sprach in den 1980ern und 90ern von „Informations-“ und später „Netzwerkgesellschaften“, in denen -neben der Digitalisierung- eine Flexibilisierung der Arbeit mit neoliberalem Abbau der Sozialstaaten einherging. Der Freiheitsbegriff wurde dabei von neoliberaler Politik und den seit den 1960ern wachsenden „Neuen Sozialen Bewegungen“ konträr definiert: Neoliberal als Freiheit der Märkte, sozial als persönliche Freiheit von gesellschaftlichen Zwängen (S.33). Exemplarisch für Letzteres behandelt Stalder die Schwulenbewegung in Westdeutschland, Rosa von Praunheim, den Bonner Tuntenstreit 1974, die Aids-Krise ab 1983. Diversität und Hybridisierung der Kultur der Digitalität wurzele in emanzipativen Bewegungen, deren Erfolg sich spätestens 2014 beim European Song Contest in der breiten Öffentlichkeit manifestierte -mit der Stalder seine Abhandlung eingeleitet hatte: „Conchita Wurst, die glamouröse Diva mit Bart, war die Gewinnerin“ (S.7), sie habe komplexe Geschlechterkonstruktionen „zumindest ansatzweise mainstreamfähig“ gemacht (S.48):
„Conchita Wurst, die bärtige Diva, ist nicht zwischen widerstreitenden Polen zerrissen. Sie repräsentiert vielmehr eine gelungene Synthese, etwas Neues, in sich Stimmiges, das sich gerade dadurch auszeichnet, dass die Elemente der alten Ordnung (Mann/Frau) sichtbar sind und zugleich transzendiert werden.“ (S.99)
Schattenseiten: Algorithmizität und Post-Demokratie
Die Digitalität ermöglicht laut Stalder neben hybrider Diversität auch neue Formen der Partizipation und Vernetzung, die zur Demokratisierung von Wissen und Kommunikation führen können. Gleichzeitig birgt Digitalität aber auch Risiken, wie die Manipulation durch Algorithmen, Filterblasen und Desinformation. Zugleich seien Algorithmen jedoch prinzipiell unabdingbar, um in einer diversen und hybriden Explosion der Kultur mit ihrer wachsenden Unordnung orientiert zu bleiben. Ohne Suchmaschinen etwa könne heute kein Archiv mehr die digitalen Datenmassen, Texte und Kulturprodukte bewältigen.
Algorithmen automatisieren Kulturtechniken wie die Inhaltsanalyse von Bildern oder das Schreiben von Texten: Der Chef der Firma „Narrative Science“, die automatisierte Sport- und Finanzberichterstattung anbietet, habe 2012 für die nächsten Dekaden eine Ersetzung von neunzig Prozent der Journalisten durch Computer angekündigt. Bedenklich sei, „dass sich auch die CIA für Narrative Science interessiert und über ihre Beteiligungsgesellschaft In-Q-Tel in das Unternehmen investiert hat, ist ein Hinweis darauf, dass bereits heute Anwendungen jenseits des Journalismus entwickelt werden. Zu Propagandazwecken lassen sich mit Algorithmen beispielsweise problemlos massenhaft Einträge in Onlineforen und den sozialen Massenmedien erstellen.“ (S.175)
Dynamische Algorithmen können sich sogar halbautomatisch-eigenständig weiterentwickeln: 2012 habe Google mit solchen „deep learning“-Verfahren die „Gesichtserkennung in unstrukturierten Bildern“ um siebzig Prozent verbessert (S.180). In ausufernder Überwachung greife heute ein „Daten-Behaviorismus“ nach unserer Privatheit, in einem „Revival eines nach wie vor mechanistischen, reduktionistischen und autoritären Ansatzes“. Diese Haltung ungehemmter Kontrolle unseres Verhaltens finde sich bei jenen, die über umfassende Beobachtungsmöglichkeiten verfügen, „dazu gehören neben Facebook und Google auch die Geheimdienste westlicher Länder“ (S.201). Dabei ginge es neben der gern genannten „Serviceverbesserung“ aber auch um soziale Normierung (erprobt in unethischen psychologischen Experimenten, wie man Stalder hier ergänzen könnte) sowie „Profit- oder Überwachungsoptimierung“ (S.202). Anders als viele deutsche Medienwissenschaftler, die an dieser Stelle der Analyse krampfhaft mit den Fingern auf „russische Trolle“ und den chinesischen Überwachungsstaat zeigen, beweist der Schweizer Felix Stalder Rückgrat und kritisiert die eigenen, die westlichen Machteliten (was besagte Kollegen wohl eher nicht aufgreifen dürften).
Assange, Snowden und Entmündigung im libertären Paternalismus
2013 habe, so Stalder, Edward Snowden die „flächendeckende Überwachung des Internets durch staatliche Geheimdienste“ enthüllt (S.233). Felix Stalder zitiert den Wikileaks-Gründer Julian Assange und resümiert: „Die Grenzen zwischen postdemokratischen Massenmedien und staatlichen Nachrichtendiensten sind fließend. Wie inzwischen bekannt ist, bestehen zwischen beiden Bereichen personelle Kontinuitäten und inhaltliche Gemeinsamkeiten.“ (S.234) Die USA hätten seit 2011 z.B. „ein eigenes Programm zu sozialen Massenmedien mit dem Namen ‚Social Media in Strategic Communication‘. (…) seit 2009 vernetzt die Europäische Union im Rahmen des INDECT-Programms Universitäten und Sicherheitsorgane mit dem Ziel ‚Lösungen und Werkzeuge der automatisierten Gefahrenentdeckung zu entwickeln’… Überspitzt könnte man sagen, dass die Missachtung der Grundrechte mit der Qualität der so geschaffenen Dienstleistung ‚Sicherheit‘ legitimiert wird.“ (S.235f.)
Leider sei die Gegenwehr gegen eine in westlichen Gesellschaften so geschaffene soziale Atmosphäre der Angst gering geblieben. Hinter Überwachung und Massenmanipulation stehe in den heutigen Postdemokratien, die demokratische Politik durch technokratisches Gouvernance ersetzen, eine neoliberale Anti-Aufklärung. Obsolet sei heute für die Machteliten „…die aus der Zeit der Aufklärung stammende Annahme, der Mensch könne sich durch den Einsatz seiner Vernunft und die Ausbildung seiner moralischen Fähigkeiten verbessern und sich aus seiner Unmündigkeit durch Bildung und Reflexion selbst befreien.“ (S.227) Eine kybernetische Sicht sehe den Menschen als dressierbare Versuchsratte, die mit subtilen „Nudges“ (Schubsern) zu steuern sei, so Richard Thaler und Cass Sunstein.
Die beiden Neobehavioristen bezeichnen ihr System als „libertären Paternalismus“, der eine „freiheitliche Bevormundung“ anstrebe, was bei den Regierungschefs in Washington und London, Obama und Cameron, so viel Anklang fand, dass sie Thaler und Sunstein in ihre Teams holten (S.228f.). Besonders in den sozialen Massenmedien (also den „sozialen Medien“, Stalder benutzt diesen gängigen Begriff jedoch nicht), ließe sich die mediale Umgebung via Nudging manipulieren. Dies geschehe vor allem im Dienste einer Gruppe, die Stalder als „den inneren Kern des postdemokratischen Systems“ bezeichnet, „bestehend aus den Spitzen der Wirtschaft, der Politik und der Geheimdienste“ (S.230). Viele Mainstream-Konformisten dürften in dieser simplen und analytisch untadelig abgeleiteten politischen Erkenntnis bereits angebliche „Verschwörungstheorie“ oder sogar „-ideologie“ wittern. Denn medial und in der akademischen Forschung werden die von Stalder aufgezeigten Fakten und Zusammenhänge geradezu krampfhaft ignoriert. Es ist zu befürchten, dass genau diese krampfhafte Ignoranz künftig zumindest diese Teile von Stalders Buch betreffen wird. Machtstrukturen dieses Kalibers werden bislang selten öffentlich diskutiert und dies geschieht dann oft nur in künstlerisch verfremdeter Form, wie etwa bei Mark Lombardi.
Stalder ruft im Fazit dazu auf, die Dynamik der Digitalität kritisch zu reflektieren und sich aktiv mit den Auswirkungen digitaler Technologien auf unsere Gesellschaft auseinanderzusetzen. Indem wir die Chancen und Herausforderungen der Digitalität verstehen, können wir Freiheit und Autonomie im digitalen Raum bewahren und weiterentwickeln: Obwohl „die Postdemokratie das Politische selbst abschaffen und alles einer technokratischen Alternativlosigkeit unterordnen will“, beweise die Entwicklung der blühenden Commons das Gegenteil, meint Stalder und schließt sein Buch mit dem Verweis auf utopische Potentiale der Digitalität: „Diese Widersprüchlichkeit der Gegenwart öffnet den Raum der Zukunft.“ Ausbaufähig scheint an Stalders Argumentation die Subjektkonstitution im Netz, die mit der Konzentration auf Kommunizieren, Posten und Liken wohl noch nicht ausreichend erfasst ist, sowie deren Verknüpfung mit Foucaults Konzept des Panoptismus.
