La promessa di sicurezza degli app store è sempre stata un'illusione

Qualche anno fa, il processo di ricerca di un'app era semplice. Un utente apriva una vetrina digitale, digitava una parola chiave in una barra di ricerca e confidava nel fatto che i risultati fossero sicuri perché una multinazionale da trilioni di dollari li aveva vagliati. Questo era il fascino principale del "walled garden" (giardino recintato). Offriva un'alternativa sanificata al web aperto, selvaggio e imprevedibile. Oggi, quel senso di sicurezza è svanito. Quando un utente cerca un semplice editor di foto, l'algoritmo suggerisce spesso strumenti progettati per spogliare le persone nelle immagini senza il loro consenso. Questa è la realtà che ha spinto il procuratore della città di San Francisco, David Chiu, a ordinare ad Apple e Google di epurare decine di app "nudify" dalle loro piattaforme.

Il passaggio da condotti neutrali a facilitatori attivi

Storicamente, i giganti della tecnologia hanno operato sotto la protezione di quadri giuridici che li trattavano come intermediari neutrali. Erano i tubi, non l'acqua. Se un utente condivideva qualcosa di illegale, la colpa era dell'utente, non del fornitore di servizi. Questo paradigma è cambiato. La legge della California ora criminalizza l'attività che facilita consapevolmente o aiuta incautamente la creazione di pornografia deepfake non consensuale. Una legge del 2025 consente inoltre alle vittime di intentare azioni civili contro le piattaforme di terze parti che ospitano questo materiale. La città di San Francisco sostiene ora che Apple e Google non siano più host passivi. Elaborando i pagamenti e suggerendo queste app attraverso algoritmi di ricerca, queste aziende partecipano attivamente a un'economia predatoria.

Allargando lo sguardo a livello di settore, questa pressione legale segna la fine dell'era del disimpegno per la moderazione delle app. In passato, le aziende si affidavano a filtri automatizzati per intercettare i contenuti proibiti; oggi, quei filtri stanno fallendo contro l'enorme volume di strumenti di intelligenza artificiale generativa. Il Tech Transparency Project ha scoperto che entrambe le aziende erano state avvertite di queste app già nel gennaio 2026. Nonostante questi avvertimenti, le app sono rimaste disponibili per mesi. Questo ritardo suggerisce che l'infrastruttura per la revisione delle app stia cedendo sotto il peso della sua stessa scala. Quando una piattaforma ospita milioni di software, la revisione manuale diventa un collo di bottiglia che la maggior parte delle aziende sceglie di ignorare a favore della crescita.

L'economia del codice non consensuale

C'è una logica finanziaria dietro la presenza di queste app. Apple e Google trattengono solitamente una commissione del 30 percento sugli acquisti in-app. Quando un'app "nudify" addebita a un utente dei crediti per generare un'immagine, una parte di quel denaro va direttamente al proprietario della piattaforma. David Chiu stima che queste aziende abbiano guadagnato milioni di dollari da queste transazioni. Ciò crea un conflitto di interessi tra sicurezza e ricavi. In termini quotidiani, è come un centro commerciale che prende una percentuale da un negozio che vende merce rubata. Il centro commerciale ha tutto l'interesse a mantenere il negozio aperto finché l'affitto viene pagato e le autorità non bussano alla porta.

Tecnicamente parlando, il problema non è solo l'esistenza delle app, ma il modo in cui gli store le promuovono. Il Tech Transparency Project ha osservato che Google e Apple hanno intenzionalmente indirizzato gli utenti verso questi strumenti attraverso i suggerimenti di ricerca. Questo è un sottoprodotto della cura algoritmica. Il motore di ricerca dello store è progettato per mostrare agli utenti ciò che probabilmente scaricheranno, non ciò che è etico ospitare. Se migliaia di persone cercano un tipo specifico di strumento di sfruttamento, l'algoritmo dà priorità a quello strumento per massimizzare la probabilità di una transazione. Il codice non ha una bussola morale; ha solo un tasso di conversione.

Il fallimento del gatekeeper algoritmico

Sotto il cofano, le app "nudify" usano spesso metodi sofisticati per aggirare il processo di revisione iniziale. Gli sviluppatori potrebbero sottoporre per l'approvazione un'app di filtri fotografici apparentemente innocua. Una volta che l'app è attiva, può scaricare nuovo codice o accedere a modelli di IA remoti che eseguono l'effettiva manipolazione delle immagini. Questa è una forma di debito tecnico nello stack di moderazione. Il processo di revisione avviene in un singolo momento, ma il software è dinamico. Uno sviluppatore può cambiare il comportamento di un'app dopo che è già sul telefono di un utente. Ciò rende il controllo una tantum all'ingresso una misura di sicurezza inefficace.

Paradossalmente, le stesse aziende che commercializzano i propri dispositivi come strumenti incentrati sulla privacy sono quelle che forniscono la distribuzione per software che viola la privacy. Apple usa spesso il suo controllo sull'ecosistema per limitare la condivisione dei dati tra app legittime, eppure ha faticato a identificare software che usa l'IA per colpire gli individui. Ciò riflette un approccio frammentato alla sicurezza della piattaforma. Una parte dell'azienda costruisce una crittografia robusta; un'altra parte dell'azienda elabora i pagamenti per app che generano immagini intime non consensuali. I due lati del business non sempre comunicano.

Sistemi legacy in un mondo di IA

Molti degli strumenti utilizzati per monitorare gli app store sono sistemi legacy. Sono stati costruiti per un'era in cui le app erano pacchetti statici di codice. Nel panorama attuale, un'app è spesso solo un sottile involucro attorno a un'API basata sul web. Il lavoro pesante dell'elaborazione dell'IA avviene su un server remoto che i revisori degli app store non possono vedere. Questo rende l'app stessa una scatola nera. Se l'API è il cameriere di un ristorante, l'app store vede solo la persona che prende l'ordine. Non ha modo di sapere cosa succede in cucina finché il piatto non è già in tavola.

Di conseguenza, la responsabilità della sicurezza è passata dalla piattaforma al pubblico. Quando Apple e Google affermano di agire rapidamente dopo la segnalazione di violazioni, ammettono che i loro sistemi proattivi hanno fallito. Si affidano a utenti, giornalisti e procuratori cittadini per fare il lavoro di moderazione al posto loro. Ciò crea un ambiente reattivo in cui il danno è già fatto prima che l'app venga rimossa. Per le vittime della pornografia deepfake, una sospensione che avviene mesi dopo che un'app è stata scaricata migliaia di volte è una vittoria vana.

Riconquistare il controllo sulla vetrina digitale

In definitiva, l'ordine di San Francisco è un monito: il software che gestisce le nostre vite non è una frontiera senza legge. Il codice che alimenta un iPhone o un dispositivo Android è soggetto alle stesse regole sociali di qualsiasi altro prodotto. Siamo arrivati a un punto in cui l'alfabetizzazione digitale ci impone di guardare oltre l'interfaccia intuitiva di un app store e vedere le regole di business che vi stanno dietro. L'esperienza curata che ci era stata promessa è un costrutto di marketing. In pratica, la vetrina è un mercato aperto dove l'obiettivo primario è la transazione.

Dovremmo osservare le nostre abitudini digitali e chiederci perché ci fidiamo di queste piattaforme in modo così implicito. La presenza di un'app su uno store ufficiale non è un sigillo di qualità o sicurezza. È un segno che lo sviluppatore ha seguito una serie di specifiche tecniche e ha accettato di condividere i propri ricavi. Come utenti, dobbiamo pretendere di più di una moderazione reattiva. Dovremmo aspettarci che le aziende che controllano l'infrastruttura delle nostre vite digitali siano vigili sulla nostra sicurezza quanto lo sono sui loro margini di profitto. La città di San Francisco ha chiarito che l'era della plausibile denegabilità per i giganti della tecnologia è finita.

Fonti:
Corrispondenza ufficiale dell'Ufficio del Procuratore della Città di San Francisco
Rapporto di aprile 2026 del Tech Transparency Project
Codice Civile della California Sezione 1708.85
Inchieste di TechCrunch e Wired