Das Sicherheitsversprechen der App-Stores war schon immer eine Illusion

Vor einigen Jahren war der Prozess, eine App zu finden, einfach. Ein Nutzer öffnete einen digitalen Store, gab ein Stichwort in eine Suchleiste ein und vertraute darauf, dass die Ergebnisse sicher waren, weil ein Multi-Billionen-Dollar-Unternehmen sie geprüft hatte. Dies war der Kern des Reizes des „Walled Garden“. Er bot eine bereinigte Alternative zum wilden, unvorhersehbaren offenen Web. Heute ist dieses Sicherheitsgefühl verschwunden. Wenn ein Nutzer nach einem einfachen Bildbearbeitungsprogramm sucht, schlägt der Algorithmus oft Werkzeuge vor, die darauf ausgelegt sind, Kleidung ohne Zustimmung von Bildern zu entfernen. Dies ist die Realität, die den Stadtanwalt von San Francisco, David Chiu, dazu veranlasste, Apple und Google anzuweisen, Dutzende von „Nudify“-Apps von ihren Plattformen zu entfernen.

Der Wandel von neutralen Leitungen zu aktiven Vermittlern

Historisch gesehen agierten Tech-Giganten unter dem Schutz rechtlicher Rahmenbedingungen, die sie als neutrale Vermittler behandelten. Sie waren die Leitungen, nicht das Wasser. Wenn ein Nutzer etwas Illegales teilte, war der Nutzer schuld, nicht der Dienstanbieter. Dieses Paradigma hat sich verschoben. Das kalifornische Gesetz stellt nun Aktivitäten unter Strafe, die wissentlich die Erstellung von nicht-einvernehmlicher Deepfake-Pornografie erleichtern oder rücksichtslos unterstützen. Ein Gesetz aus dem Jahr 2025 erlaubt es Opfern zudem, zivilrechtlich gegen Drittplattformen vorzugehen, die dieses Material hosten. Die Stadt San Francisco argumentiert nun, dass Apple und Google keine passiven Hosts mehr sind. Indem sie Zahlungen abwickeln und diese Apps über Suchalgorithmen vorschlagen, sind diese Unternehmen aktive Teilnehmer an einer räuberischen Wirtschaft.

Betrachtet man die gesamte Branche, markiert dieser rechtliche Druck das Ende der Ära der Zurückhaltung bei der App-Moderation. In der Vergangenheit verließen sich Unternehmen auf automatisierte Filter, um verbotene Inhalte abzufangen; heute versagen diese Filter angesichts der schieren Menge an generativen KI-Tools. Das Tech Transparency Project stellte fest, dass beide Unternehmen bereits im Januar 2026 vor diesen Apps gewarnt wurden. Trotz dieser Warnungen blieben die Apps monatelang verfügbar. Diese Verzögerung deutet darauf hin, dass die Infrastruktur für die App-Prüfung unter dem Gewicht ihrer eigenen Skalierung zusammenbricht. Wenn eine Plattform Millionen von Softwarestücken hostet, wird die manuelle Überprüfung zu einem Engpass, den die meisten Unternehmen zugunsten des Wachstums ignorieren.

Die Ökonomie des nicht-einvernehmlichen Codes

Hinter der Präsenz dieser Apps steckt eine finanzielle Logik. Apple und Google nehmen in der Regel eine Provision von 30 Prozent auf In-App-Käufe ein. Wenn eine Nudify-App einem Nutzer Gebühren für Credits zur Generierung eines Bildes berechnet, fließt ein Teil dieses Geldes direkt an den Plattformbetreiber. David Chiu schätzt, dass diese Unternehmen Millionen von Dollar mit diesen Transaktionen verdient haben. Dies schafft einen Interessenkonflikt zwischen Sicherheit und Umsatz. Alltäglich ausgedrückt ist es wie ein Einkaufszentrum, das einen Anteil von einem Geschäft kassiert, das Diebesgut verkauft. Das Einkaufszentrum hat jeden Anreiz, das Geschäft offen zu halten, solange die Miete gezahlt wird und die Behörden nicht an die Tür klopfen.

Technisch gesehen liegt das Problem nicht nur in der Existenz der Apps, sondern darin, wie die Stores sie bewerben. Das Tech Transparency Project stellte fest, dass Google und Apple die Nutzer durch Suchvorschläge gezielt zu diesen Werkzeugen lenkten. Dies ist ein Nebenprodukt der algorithmischen Kuratierung. Die Suchmaschine des Stores ist darauf ausgelegt, den Nutzern das zu zeigen, was sie wahrscheinlich herunterladen werden, und nicht das, was ethisch vertretbar ist. Wenn Tausende von Menschen nach einer bestimmten Art von ausbeuterischem Werkzeug suchen, priorisiert der Algorithmus dieses Werkzeug, um die Wahrscheinlichkeit einer Transaktion zu maximieren. Der Code hat keinen moralischen Kompass; er hat nur eine Konversionsrate.

Das Scheitern des algorithmischen Gatekeepers

Hinter den Kulissen nutzen Nudify-Apps oft ausgeklügelte Methoden, um den ursprünglichen Überprüfungsprozess zu umgehen. Entwickler reichen möglicherweise eine scheinbar harmlose Fotofilter-App zur Genehmigung ein. Sobald die App live ist, kann sie neuen Code nachladen oder auf Remote-KI-Modelle zugreifen, welche die eigentliche Bildmanipulation durchführen. Dies ist eine Form von technischer Schuld im Moderations-Stack. Der Überprüfungsprozess findet zu einem einzigen Zeitpunkt statt, aber Software ist dynamisch. Ein Entwickler kann das Verhalten einer App ändern, nachdem sie sich bereits auf dem Telefon eines Nutzers befindet. Dies macht die einmalige Kontrolle am Tor zu einer unwirksamen Sicherheitsmaßnahme.

Paradoxerweise sind dieselben Unternehmen, die ihre Geräte als datenschutzorientierte Werkzeuge vermarkten, diejenigen, die den Vertrieb für datenschutzverletzende Software bereitstellen. Apple nutzt oft seine Kontrolle über das Ökosystem, um den Datenaustausch zwischen legitimen Apps einzuschränken, hatte jedoch Schwierigkeiten, Software zu identifizieren, die KI nutzt, um Einzelpersonen ins Visier zu nehmen. Dies spiegelt einen fragmentierten Ansatz zur Plattform-Sicherheit wider. Ein Teil des Unternehmens baut eine robuste Verschlüsselung auf; ein anderer Teil des Unternehmens wickelt Zahlungen für Apps ab, die nicht-einvernehmliche intime Bilder generieren. Die beiden Seiten des Geschäfts kommunizieren nicht immer miteinander.

Altsysteme in einer KI-Welt

Viele der zur Überwachung von App-Stores eingesetzten Tools sind Altsysteme. Sie wurden für eine Ära gebaut, in der Apps statische Codepakete waren. In der aktuellen Landschaft ist eine App oft nur eine dünne Hülle um eine webbasierte API. Die Schwerstarbeit der KI-Verarbeitung findet auf einem Remote-Server statt, den die Prüfer des App-Stores nicht sehen können. Dies macht die App selbst zu einer Blackbox. Wenn die API ein Restaurantkellner ist, sieht der App-Store nur die Person, die die Bestellung aufnimmt. Er hat keine Möglichkeit zu wissen, was in der Küche passiert, bis das Gericht bereits auf dem Tisch steht.

Infolgedessen hat sich die Verantwortung für die Sicherheit von der Plattform auf die Öffentlichkeit verlagert. Wenn Apple und Google behaupten, sie ergriffen nach Meldung von Verstößen schnelle Maßnahmen, geben sie zu, dass ihre proaktiven Systeme versagt haben. Sie verlassen sich darauf, dass Nutzer, Journalisten und Stadtanwälte die Moderationsarbeit für sie erledigen. Dies schafft ein reaktives Umfeld, in dem der Schaden bereits angerichtet ist, bevor die App entfernt wird. Für die Opfer von Deepfake-Pornografie ist eine Sperrung, die Monate nach dem tausendfachen Download einer App erfolgt, ein hohler Sieg.

Rückgewinnung der Kontrolle über den digitalen Store

Letztlich ist die Anordnung aus San Francisco eine Mahnung, dass die Software, die unser Leben bestimmt, kein rechtsfreier Raum ist. Der Code, der ein iPhone oder ein Android-Gerät antreibt, unterliegt denselben gesellschaftlichen Regeln wie jedes andere Produkt. Wir haben einen Punkt erreicht, an dem digitale Kompetenz von uns verlangt, hinter die intuitive Benutzeroberfläche eines App-Stores zu blicken und die dahinterstehenden Geschäftsregeln zu erkennen. Das kuratierte Erlebnis, das uns versprochen wurde, ist ein Marketingkonstrukt. In der Praxis ist der Store ein offener Marktplatz, auf dem das primäre Ziel die Transaktion ist.

Wir sollten unsere eigenen digitalen Gewohnheiten beobachten und uns fragen, warum wir diesen Plattformen so blind vertrauen. Die Präsenz einer App in einem offiziellen Store ist kein Gütesiegel für Qualität oder Sicherheit. Es ist ein Zeichen dafür, dass der Entwickler eine Reihe technischer Spezifikationen eingehalten und zugestimmt hat, seine Einnahmen zu teilen. Als Nutzer müssen wir mehr als nur reaktive Moderation fordern. Wir sollten erwarten, dass die Unternehmen, welche die Infrastruktur unseres digitalen Lebens kontrollieren, ebenso wachsam gegenüber unserer Sicherheit sind wie gegenüber ihren Gewinnspannen. Die Stadt San Francisco hat deutlich gemacht, dass die Ära der plausiblen Abstreitbarkeit für Tech-Giganten vorbei ist.

Quellen:
Offizielle Korrespondenz des Büros des Stadtanwalts von San Francisco
Bericht des Tech Transparency Project vom April 2026
Kalifornisches Zivilgesetzbuch Abschnitt 1708.85
Investigativberichte von TechCrunch und Wired