几年前,寻找应用的过程非常简单。用户打开数字店面,在搜索栏中输入关键词,并相信结果是安全的,因为一家市值数万亿美元的企业已经对其进行了审核。这是“围墙花园”的核心吸引力。它为狂野、不可预测的开放网络提供了一个经过净化的替代方案。如今,这种安全感已经消失。当用户搜索一个简单的照片编辑器时,算法经常会推荐旨在未经同意从图像中去除衣物的工具。正是这一现实促使旧金山市检察官邱信福(David Chiu)命令苹果和谷歌从其平台中清除数十个“脱衣”应用。
从历史上看,科技巨头在法律框架的保护下运作,这些框架将它们视为中立的中介机构。它们是管道,而不是水。如果用户分享了违法内容,错在用户,而不在服务提供商。这种模式已经发生了转变。加利福尼亚州法律现在将故意促进或鲁莽协助创建非自愿深度伪造色情内容的活动定为犯罪。2025 年的一项法律进一步允许受害者对托管此类内容的第三方平台提起民事诉讼。旧金山市政府现在认为,苹果和谷歌不再是被动的托管者。通过处理付款并通过搜索算法推荐这些应用,这些公司已成为掠夺性经济的主动参与者。
放大到行业层面,这种法律压力标志着应用审核“放手”时代的终结。过去,公司依靠自动化过滤器来拦截违禁内容;如今,面对海量的生成式 AI 工具,这些过滤器正力不从心。“技术透明度项目”(Tech Transparency Project)发现,两家公司早在 2026 年 1 月就收到了关于这些应用的警告。尽管有这些警告,这些应用仍在线数月之久。这种延迟表明,应用审核的基础设施在自身规模的压力下正在崩溃。当一个平台托管数百万个软件时,人工审核就成了一个瓶颈,大多数公司为了增长而选择忽视这一瓶颈。
这些应用的存在背后有着财务逻辑。苹果和谷歌通常会对应用内购买抽取 30% 的佣金。当一个脱衣应用向用户收取生成图像的积分费用时,这笔钱的一部分会直接流向平台所有者。邱信福估计,这些公司已从这些交易中获利数百万美元。这在安全与收入之间造成了利益冲突。用日常术语来说,这就像一家购物中心从一家出售赃物的商店中抽成。只要租金照付,且当局没有找上门来,购物中心就有充分的动力让商店继续营业。
从技术上讲,问题不仅在于应用的存在,还在于商店如何推广它们。技术透明度项目指出,谷歌和苹果通过搜索建议有意引导用户使用这些工具。这是算法推荐的副产品。商店的搜索引擎旨在向用户展示他们可能下载的内容,而不是托管这些内容是否符合道德。如果成千上万的人搜索特定类型的剥削性工具,算法就会优先考虑该工具,以最大限度地提高交易概率。代码没有道德指南针;它只有转化率。
在底层,脱衣应用经常使用复杂的方法来绕过初始审核过程。开发者可能会提交一个看似无害的照片滤镜应用以供审批。一旦应用上线,它就可以下载新代码或访问执行实际图像处理的远程 AI 模型。这是审核体系中的一种技术债。审核过程发生在单一的时间点,但软件是动态的。开发者可以在应用安装到用户手机后更改其行为。这使得门口的一次性检查成为一种无效的安全措施。
矛盾的是,那些将自己的设备定位为注重隐私工具的公司,正是为侵犯隐私的软件提供分发渠道的公司。苹果经常利用其对生态系统的控制来限制合法应用之间的数据共享,但它却难以识别使用 AI 针对个人的软件。这反映了平台安全方案的碎片化。公司的一部分构建强大的加密;公司的另一部分则为生成非自愿亲密图像的应用处理付款。业务的两端并不总是沟通。
许多用于监控应用商店的工具都是遗留系统。它们是为应用还是静态代码包的时代而构建的。在当前的格局中,一个应用通常只是一个基于 Web 的 API 的薄外壳。AI 处理的沉重工作发生在应用商店审核员看不见的远程服务器上。这使得应用本身变成了一个黑匣子。如果 API 是餐厅服务员,应用商店只看到了点菜的人。在菜品上桌之前,它无法知道厨房里发生了什么。
因此,安全的责任已从平台转向了公众。当苹果和谷歌声称他们在违规行为被举报后迅速采取行动时,他们是在承认其主动防御系统失败了。他们依靠用户、记者和市检察官来为他们完成审核工作。这创造了一个反应式的环境,在应用被移除之前,伤害已经造成。对于深度伪造色情内容的受害者来说,在应用被下载数千次、数月之后才执行的下架处理,只是一场空洞的胜利。
最终,旧金山的这项命令提醒我们,运行我们生活的软件并非法外之地。驱动 iPhone 或安卓设备的代代码与任何其他产品一样,都要遵守相同的社会规则。我们已经到了这样一个阶段:数字素养要求我们透过应用商店直观的界面,看到其背后的商业规则。我们被承诺的“精选体验”只是一种营销构想。在实践中,店面是一个以交易为主要目标的开放市场。
我们应该观察自己的数字习惯,并思考为什么我们如此盲目地信任这些平台。官方商店中存在某个应用并不代表其质量或安全的保证。这仅表明开发者遵循了一套技术规范并同意分享其收入。作为用户,我们必须要求不仅仅是反应式的审核。我们应该期望那些控制我们数字生活基础设施的公司,像关注利润率一样警惕我们的安全。旧金山市已经明确表示,科技巨头“推卸责任”的时代已经结束。
来源:
旧金山市检察官办公室官方函件
技术透明度项目 2026 年 4 月报告
加利福尼亚州民法典第 1708.85 条
TechCrunch 和 Wired 调查报告


