Обещание безопасности в магазинах приложений всегда было иллюзией

Несколько лет назад процесс поиска приложения был прост. Пользователь открывал цифровой магазин, вводил ключевое слово в строку поиска и доверял результатам, полагая, что они безопасны, поскольку корпорация стоимостью в несколько триллионов долларов проверила их. В этом заключалась главная привлекательность «огороженного сада». Он предлагал санированную альтернативу дикому, непредсказуемому открытому вебу. Сегодня это чувство безопасности исчезло. Когда пользователь ищет простой фоторедактор, алгоритм часто предлагает инструменты, предназначенные для раздевания людей на изображениях без их согласия. Именно эта реальность побудила городского прокурора Сан-Франциско Дэвида Чиу приказать Apple и Google удалить десятки приложений для создания «нюдсов» (nudify apps) со своих платформ.

Переход от нейтральных каналов к активным посредникам

Исторически технологические гиганты работали под защитой правовых рамок, которые рассматривали их как нейтральных посредников. Они были трубами, а не водой. Если пользователь делился чем-то незаконным, виноват был пользователь, а не поставщик услуг. Эта парадигма изменилась. Законы Калифорнии теперь криминализируют деятельность, которая заведомо способствует или неосторожно помогает созданию порнографических дипфейков без согласия. Закон 2025 года также позволяет жертвам подавать гражданские иски против сторонних платформ, на которых размещаются такие материалы. Власти Сан-Франциско теперь утверждают, что Apple и Google больше не являются пассивными хостами. Обрабатывая платежи и предлагая эти приложения через поисковые алгоритмы, эти компании становятся активными участниками хищнической экономики.

Если рассматривать ситуацию на уровне индустрии, это юридическое давление знаменует собой конец эпохи невмешательства в модерацию приложений. В прошлом компании полагались на автоматические фильтры для отлова запрещенного контента; сегодня эти фильтры не справляются с огромным объемом инструментов генеративного ИИ. Проект Tech Transparency Project обнаружил, что обе компании были предупреждены об этих приложениях еще в январе 2026 года. Несмотря на эти предупреждения, приложения оставались доступными в течение нескольких месяцев. Такая задержка говорит о том, что инфраструктура проверки приложений трещит по швам под тяжестью собственного масштаба. Когда платформа хостит миллионы единиц программного обеспечения, ручная проверка становится узким местом, которое большинство корпораций предпочитают игнорировать в пользу роста.

Экономика кода без согласия

За присутствием этих приложений стоит финансовая логика. Apple и Google обычно берут 30-процентную комиссию с покупок внутри приложений. Когда приложение для создания «нюдсов» взимает с пользователя плату за кредиты для генерации изображения, часть этих денег идет напрямую владельцу платформы. Дэвид Чиу оценивает, что эти компании заработали миллионы долларов на таких транзакциях. Это создает конфликт интересов между безопасностью и доходом. Говоря простыми словами, это похоже на торговый центр, который берет долю с магазина, торгующего крадеными товарами. У торгового центра есть все стимулы держать магазин открытым до тех пор, пока платится аренда и власти не стучат в дверь.

С технической точки зрения проблема заключается не только в существовании приложений, но и в том, как магазины их продвигают. Tech Transparency Project отметил, что Google и Apple намеренно направляли пользователей к этим инструментам через поисковые подсказки. Это побочный продукт алгоритмического курирования. Поисковая система магазина разработана так, чтобы показывать пользователям то, что они с большой вероятностью скачают, а не то, что этично размещать. Если тысячи людей ищут определенный тип эксплуататорского инструмента, алгоритм отдает приоритет этому инструменту, чтобы максимизировать вероятность транзакции. У кода нет морального компаса; у него есть только коэффициент конверсии.

Крах алгоритмического привратника

«Под капотом» приложения для создания «нюдсов» часто используют сложные методы обхода первоначального процесса проверки. Разработчики могут отправить на утверждение с виду безобидное приложение с фотофильтрами. Как только приложение запущено, оно может подгружать новый код или обращаться к удаленным моделям ИИ, которые выполняют фактическую манипуляцию с изображениями. Это форма технического долга в стеке модерации. Процесс проверки происходит в один момент времени, но программное обеспечение динамично. Разработчик может изменить поведение приложения после того, как оно уже оказалось в телефоне пользователя. Это делает разовую проверку на входе неэффективной мерой безопасности.

Парадоксально, но те же компании, которые позиционируют свои устройства как инструменты, ориентированные на конфиденциальность, обеспечивают распространение ПО, нарушающего эту самую конфиденциальность. Apple часто использует свой контроль над экосистемой для ограничения обмена данными между легитимными приложениями, однако ей с трудом удается идентифицировать ПО, использующее ИИ для атак на частную жизнь людей. Это отражает фрагментированный подход к безопасности платформы. Одна часть компании создает надежное шифрование; другая часть компании обрабатывает платежи для приложений, генерирующих интимные изображения без согласия. Две стороны бизнеса не всегда взаимодействуют друг с другом.

Устаревшие системы в мире ИИ

Многие инструменты, используемые для мониторинга магазинов приложений, являются устаревшими системами. Они были созданы для эпохи, когда приложения были статичными пакетами кода. В нынешних условиях приложение часто представляет собой лишь тонкую оболочку вокруг веб-API. Основная работа по обработке ИИ происходит на удаленном сервере, который рецензенты магазина приложений не видят. Это делает само приложение «черным ящиком». Если API — это официант в ресторане, то магазин приложений видит только человека, принимающего заказ. У него нет возможности узнать, что происходит на кухне, пока блюдо уже не окажется на столе.

Следовательно, ответственность за безопасность сместилась с платформы на общественность. Когда Apple и Google заявляют, что принимают быстрые меры после сообщения о нарушениях, они признают, что их проактивные системы дали сбой. Они полагаются на пользователей, журналистов и городских прокуроров, которые выполняют за них работу по модерации. Это создает реактивную среду, в которой вред уже нанесен до того, как приложение будет удалено. Для жертв дипфейк-порнографии блокировка, которая происходит через несколько месяцев после того, как приложение было скачано тысячи раз, является пустой победой.

Возвращение контроля над цифровой витриной

В конечном счете, распоряжение из Сан-Франциско — это напоминание о том, что программное обеспечение, управляющее нашей жизнью, не является беззаконным фронтиром. Код, на котором работают iPhone или устройства Android, подчиняется тем же социальным правилам, что и любой другой продукт. Мы достигли точки, когда цифровая грамотность требует от нас смотреть сквозь интуитивно понятный интерфейс магазина приложений и видеть стоящие за ним бизнес-правила. Курируемый опыт, который нам обещали, — это маркетинговая конструкция. На практике витрина магазина — это открытый рынок, где основной целью является транзакция.

Нам следует проанализировать свои цифровые привычки и спросить себя, почему мы так безоговорочно доверяем этим платформам. Присутствие приложения в официальном магазине не является знаком качества или безопасности. Это признак того, что разработчик следовал набору технических спецификаций и согласился делиться своим доходом. Как пользователи, мы должны требовать большего, чем просто реактивная модерация. Мы должны ожидать, что компании, контролирующие инфраструктуру нашей цифровой жизни, будут так же бдительны в отношении нашей безопасности, как и в отношении своей прибыли. Город Сан-Франциско ясно дал понять, что эра «правдоподобного отрицания» для технологических гигантов закончилась.

Источники:
San Francisco City Attorney's Office official correspondence
Tech Transparency Project April 2026 report
California Civil Code Section 1708.85
TechCrunch and Wired investigative reports