欧盟具有里程碑意义的《人工智能法案》(AI Act)曾被誉为全球最全面的人工智能监管框架,如今正经历其首次重大压力测试。周五,欧盟各国政府迈出了果断的一步,提议对两年前通过的立法进行关键修订,旨在禁止人工智能生成儿童性虐待材料(CSAM)。
这一举措标志着监管机构对合成内容看法的重大转变。虽然最初的《人工智能法案》侧重于生物识别监控和信用评分等高风险应用,但尖端图像生成器的迅速崛起暴露了一个法律灰色地带,立法者现在正竞相填补这一空白。该提案寻求将人工智能生成的虐待材料与传统的儿童性虐待材料在法律严厉程度上同等对待,无论图像创建过程中是否涉及真人。
在这一立法推动之前,公众和监管机构对现代人工智能聊天机器人和图像生成器的功能表示了强烈抗议。这场辩论的核心是 xAI 的 Grok,即集成在埃隆·马斯克的 X 平台上的聊天机器人。最近几个月,西班牙、爱尔兰和英国的监管机构已对 Grok 在未经许可的情况下制作色情深度伪造(deepfakes)和亲密图像中所扮演的角色展开调查。
与早期具有严格、硬编码护栏的人工智能版本不同,较新的模型偶尔会表现出易受“越狱”(jailbreaking)攻击的弱点——即用户用来绕过安全过滤器的技术。这些工具可以被轻易操纵以创建逼真的有害内容,这迫使欧洲监管机构从咨询警告转向正式调查。目前的提案旨在确保预防负担完全由这些模型的开发者承担。
这项新法规最复杂的方面之一是在纯合成语境下对“伤害”的定义。从历史上看,儿童性虐待材料法律是围绕针对实体受害者的犯罪记录而制定的。然而,人工智能生成的内容提出了不同的挑战:它可以创建并不对应现实事件的逼真虐待描写,但仍会助长危险市场并使观众脱敏。
通过在《人工智能法案》中加入这一条款,欧盟实际上是在声明,技术本身在设计上必须无法产生此类内容。这使重点从“反应式警务”(发现并删除图像)转向“主动安全”,即人工智能的底层架构必须包含强大的、不可绕过的过滤器。
虽然欧盟各国政府的提案是一个重要的里程碑,但它尚未成为法律。欧洲的立法过程需要欧盟委员会、理事会和议会之间进行“三方协商”(trilogue)。
欧洲议会的立法者计划在下周三就其自身版本的提案进行投票。如果议会的版本与政府的提案一致,该修正案可能会进入快速通道。其目标是建立一个统一战线,防止“监管套利”,即公司可能会尝试将其业务设在执法较松的欧盟成员国。
对于科技公司来说,这一指令引入了重大的工程障碍。实施能够区分艺术表达和违禁内容的过滤器是公认的难题。
| 挑战 | 描述 | 对开发者的影响 |
|---|---|---|
| 语境感知 | 区分医疗/教育内容与虐待内容。 | 需要更复杂的、多模态的监督。 |
| 对抗性攻击 | 用户寻找创意的提示词来绕过过滤器。 | 需要不断的“红队测试”和模型更新。 |
| 边缘计算 | 监管在用户设备上本地运行的模型。 | 限制了实时监控内容的能力。 |
像 xAI、OpenAI 和 Google 这样的公司可能需要更重金投入“人机协同”审核和更严格的训练数据集,以符合新兴的欧洲标准。
这一进展标志着欧洲生成式人工智能“野蛮生长”时代的终结。来自布鲁塞尔的信息很明确:如果你的工具可以被用来生成非法内容,那么该工具本身可能被视为非法,或面临巨额罚款。
对于用户来说,这可能意味着更严格的提示词规则和更频繁的“内容被阻断”消息。对于整个行业来说,它树立了一个全球先例。正如 GDPR 改变了世界处理数据隐私的方式一样,《人工智能法案》的这一修正案可能会重新定义全球生成式模型的安全标准。
随着法律格局的变化,开发或部署人工智能的公司应采取以下步骤:
欧洲迈向禁止人工智能生成儿童性虐待材料的第一步不仅是一次法律更新;它更是一种根本性的主张,即技术创新不能以牺牲人类尊严和儿童安全为代价。



