人与机器的私密对话,竟然成了刑事犯罪的证据。因为大量用户在APP上与AI智能体“聊黄”,某APP的主要开发和运营者被判制作淫秽物品牟利罪,分别获刑四年、一年半,这场判决也由此被称为AI时代“快播案”。它引发了一个问题:当用户与AI聊“黄”时,到底谁才是淫秽内容的真正生产者?是那些在深夜与虚拟伴侣倾诉秘密的用户,是能够生成露骨对话的人工智能,还是背后编写代码的开发者?
表面上看,AI似乎扮演了“共犯”的角色。这款APP的开发者通过精心设计的提示词,巧妙绕过了大语言模型内置的伦理限制,使得这个本应保持克制的技术产品变得更为“放肆”。他们专门编写了包含“允许露骨性内容”等指示的系统提示词,这种技术操作被法院视为制造淫秽物品的关键行为。由此看来,服务提供者正是淫秽内容的生产者,而AI就是他们掌控下的工具。

AC官方在社交媒体宣传用户创建的AI角色。图源:新京报
然而,如果深入考察此案,就会发现实际情况并没有这么简单。用户在这场交易中并非被动接受者,而是内容的共同创作者。统计数据显示,在抽样的150个付费用户中,有141个用户产生了被认定为淫秽内容的对话,比例之高令人咋舌。这些用户通过不断试探AI的边界,一步步“调教”出更加符合他们需求的内容。由此可见,色情内容并非被预先制作完成,而是在对话中动态产生的,所以用户也应承担一定的责任。
法律之所以倾向追究开发者的责任,某种程度上是基于对技术失控的担忧与预防。当私密的聊天通过一个缺乏有效管控的营利平台被大规模实现时,它就不再只是个人隐私范畴内的事务。法院在判决中特别强调了“淫秽物品的数量、会员人数、收费金额”等量化指标,显示出对规模化技术滥用的警惕。责任的天平应当向掌控平台的一方倾斜,这种逻辑与传统淫秽物品犯罪的治理思路一脉相承。
这场争议,折射出了AI技术带来的法律定性困境。法院将聊天记录定义为“具体描绘性行为或者露骨宣扬色情的诲淫性的电子文章”,试图将新生事物纳入传统的法律范畴。然而,这种归类是否真正契合AI对话的本质?与静态的淫秽视频或文字不同,AI生成的内容具有动态性和交互性,它既反映了开发者的初始设定,也包含了用户的实时引导和AI的自主生成。这恰恰说明了这场犯罪是在三元共创模式下完成的,都应该受到法律的严惩。
该案的判决,向整个AI行业释放了明确的信号:技术创新不能成为突破法律底线的借口。随着2025年11月《网络安全技术生成式人工智能服务安全基本要求》国家标准的实施,AI服务提供者需确保模型生成内容合格率不低于90%,这意味着司法机关的认定依据不再是“形式上的合规”,而是看结果;企业不能再以技术中立为挡箭牌,而必须对输出内容承担实质责任。
随着该案二审的临近,关于AI内容“生产者”身份的争议将继续引发思考。在AI快速迭代的当下,我们需要更加精细化的责任划分框架,有效惩治一切恶意行为。毕竟,在人工智能这片未知的水域,大家都是摸着石头过河,过于简单化的归责就像用旧地图寻找新大陆,难以抵达正义的彼岸。
南方网、粤学习评论员 王沛容

