2023年4月20日，内蒙古包头市发生了一起特殊的电信诈骗案件。 4月20日中午，某科技公司法人代表郭先生一好友突然向其发起微信视频，称自己目前在外地竞标，需要借郭先生的账户走账430万元。郭先生通过视频确认是好友的面孔和声音后，按要求将430万元分两笔打至指定账户，后与朋友核实后发现被骗。幸运的是，该诈骗行为被及时发现，大部分款项被成功止付拦截[1]。
近年来，深度合成技术已多次被用于诈骗、破坏计算机信息系统等犯罪中。 例如，2019年，一名英国能源公司的CEO收到集团总裁的语音电话，要求其向指定账户转款22万欧元，事后调查发现这是一起由深度伪造技术参与的诈骗活动[2]。2021年，温州市陈某报警称，自己被“好友”骗了近五万元，警方调查发现，诈骗者通过陈某好友社交平台上的公开资料，提取出了面部信息，并利用深度伪造技术实施了诈骗[3]。2021年初，常州警方破获一起使用AI换脸技术“伪造人脸”破解政务系统人脸识别认证的案件，该团伙利用深度伪造技术绕过人脸识别认证，从而实施非法注册认证的建筑业资质的行为[4]。类似的违法犯罪案例还有很多。
本文将在简要介绍深度合成技术的基础上，通过梳理该技术的正常商业运用场景及可能被用于违法犯罪的情形，分析滥用深度合成技术存在的刑事法律风险，并结合当前监管制度，归纳总结从业者的合规义务。
一、深度合成技术及其合法使用场景
（一）概念与原理
Deepfake(深度伪造)是由“Deep learning”(深度学习)和“Fake”(伪造)组合而成的新词语，意指借助人工智能技术对音频、图片和视频进行制作和修改的技术[5]。该词语出自于2017年美国Reddit论坛中的一篇文章，该文作者“deepfakes”通过人工智能技术将不雅视频中主角的脸替换为明星的脸，引起广泛关注[6]，此类技术自此被称作Deepfake(深度伪造)，亦有人将其称为深度合成（deep synthesis）。为行文方便，本文将该技术统一表述为深度合成技术。
深度合成技术主要由“对抗生成网络”（Generative Adversarial Network）发展而来。 图片、视频的伪造并非新鲜事物，普通人亦可通过PS、PR 等软件对图片、视频进行篡改。但这样的伪造极其考验编辑者的个人能力，编辑者需要对图片的色彩、层次、光照等元素进行全面调整，稍有不慎就会露出伪造的痕迹。伪造视频的难度更是远远超过伪造图片的难度，想要做出以假乱真的视频需要付出巨大的人力和物力。
基于深度学习技术的“对抗生成网络”大幅降低了音像编辑的技术门槛。 不同于传统的学习方法，“对抗生成网络”分为两条并行的学习神经网络：生成模型根据基础的算法模型绘制出图像；判别模型将生成的图像与目标图像进行对比，如果图片相似就将本次的算法进行优化改进[7]，反之则舍弃。生成模型和判别模型在一次次对抗中不断自我升级，最终完善的算法即可生成以假乱真的图片和视频，“有图有真相”、“有视频有真相”的时代已经成为历史。
（二）深度合成技术的合法使用场景
深度合成技术已成为个人的娱乐工具。 《深度合成十大趋势（2022）报告》显示，2021年深度合成视频“点赞”量已达3.16亿，相较于2020年增长近6倍。利用深度合成技术制作的“换脸”作品爆款频出，具有很高的娱乐性，受到网友们的喜爱。例如，一位名叫“电影七十二变”的作者在网站上制作了大量“换脸”作品，其代表作之一是将漫威电影角色钢铁侠“小罗伯特·唐尼”的脸更换为了知名影星沈腾的脸，目前*放播**量已破800万，评论区亦是好评不断[8]。
深度合成技术可以用于影视作品的制作。 通过深度合成技术，导演可以突破演员、环境、时间等条件的限制，拍摄出更具想象力的影视作品。例如，在2019年上映的电影《双子杀手》中，导演使用技术手段还原了主演“威尔·史密斯”25岁时的形象，并让年轻和年老的威尔·史密斯同框对打，实现了现实中不可能出现的戏剧化场景[9]。又例如，在电影《速度与激情7》的拍摄过程中，主演保罗·沃克意外身亡，制片方不得已使用替身加CGI动画的传统方式使保罗·沃克重新出现在电影中，这一过程成本非常高[10]。而随着深度合成技术的不断进步，通过“换脸”方式处理电影拍摄过程中的意外事件将变得越来越常见。
电影《双子杀手》海报
此外，深度合成技术在新闻、音乐、科研、旅游等诸多领域也有广泛应用。 例如，2018乌镇世界互联网大会上，由新华社和搜狗联合发布的“AI主播”引起了广泛反响，制作方通过深度合成技术将真人的声音、唇形、表情合成到虚拟主播的身上，使一般人难以分辨[11]。又如，近期名为“AI孙燕姿”的歌手走红网络，一些网友通过深度合成技术，将“冷门歌手”孙燕姿的声音替换到其他歌手的歌曲中，给人带来一种全新的听觉享受。未来，深度合成技术必将给一些传统行业带来革命性变化。
二、与深度合成技术伴生的刑事法律风险
科技进步是把双刃剑，如果滥用该技术，也可能存在刑事法律风险。
（一）与财产犯罪相关的刑事法律风险
深度合成技术可能被用于诈骗、敲诈勒索等侵犯他人财产权的犯罪活动。 其中，诈骗行为最为常见，相较于传统诈骗，运用深度合成技术的诈骗者可以生成虚拟形象，模仿受害者朋友的身份，获得受害者的信任，进而实施诈骗行为。该类新型诈骗方式的成功率和危害性都远高于传统诈骗，通过伪造语音、视频进行的诈骗行为已经在世界范围内蔓延开来。2020年初，一家日本公司在香港的分公司的经理接到来自于之前与其交谈过的一位母公司的董事的电话，该董事希望经理批准一笔3500万美元的公司收购转账。由于对该董事的声音十分熟悉，法律文件也齐全，经理批准了该笔转账，事后调查发现，这是一起通过深度伪造技术精心设计的诈骗，犯罪者通过克隆母公司董事的声音，成功获取了经理的信任[12]。类似的案件在国内也已多次出现，恶意利用该技术的行为严重侵害了个人的财产权。
（二）与人身权利相关的刑事法律风险
深度合成技术可能被用于*辱侮**、*谤诽**、制作淫秽物品牟利等与侵犯他人名誉相关的违法犯罪活动。 早在2017年诞生起，Deepfake技术就与色情视频紧密联系在一起，该技术的使用者将斯嘉丽·约翰逊等多名好莱坞女星的脸替换入色情视频，造成了极其恶劣的影响。随后，一款名为“DeepNude”的“脱衣软件”出现在互联网上，该软件可使用深度伪造技术将人身上的衣服替换掉，制造出以假乱真的裸照[13]。2023年3月，广州地铁上一位女性的“裸照”曾引发舆论讨论，但事后调查发现该照片是通过“脱衣软件”合成的假照片。使用深度合成技术合成他人的不雅图像、视频，可能触犯*辱侮**罪、*谤诽**罪、制作淫秽物品牟利罪等多种罪名。
（三）与国家安全和社会秩序相关的刑事法律风险
深度合成技术可能被用于扰乱社会秩序甚至危害国家安全的违法犯罪活动。 利用深度合成技术，制作者可以制作出极为逼真的虚假图片和视频，普通人根本无法辨识。若该虚假信息借助新闻媒介和社交媒体广泛传播，则极易引发社会公共秩序的混乱。例如，2018年，一个涉及美国前总统奥巴马的换脸视频出现在互联网上，视频中的“奥巴马”对美国前总统特朗普提出了严厉的批评[14]，事后官方证实该视频是由深度合成技术制作的假视频。未来，通过深度合成技术影响各国政治运作的事件仍可能发生。
（在剧集《真相捕捉》中，反对者通过Deepfake的衍生技术篡改了英国某官员的电视演讲）
三、深度合成技术从业者的合规义务
目前，我国已经出台了多部有关深度合成技术的规范性文件。例如，2022年11月25日颁布（2023年1月10日起施行）的《互联网信息服务深度合成管理规定》（下称《管理规定》），2023年4月11日发布的《生成式人工智能服务管理办法（征求意见稿）》（下称《征求意见稿》），以及《网络信息内容生态治理规定》《网络音视频信息服务管理规定》等法规。 上述规范性文件对深度合成技术的服务提供者、技术支持者、使用者和传播平台的合规义务均作出明确规定。
（一）服务提供者的合规义务
深度合成技术的服务提供者是承担合规义务最多的主体。 《管理规定》第七条规定：“深度合成服务提供者应当落实 信息安全主体责任 ，建立健全 用户注册、算法机制机理审核、科技伦理审查、信息发布审核、数据安全、个人信息保护、反电信网络诈骗、应急处置 等管理制度，具有安全可控的技术保障措施。”上述义务在《管理规定》的第九条、第十条、第十五条、第十四条、第十二条均存在详细规定。
深度合成技术的服务提供者还需遵守内容标识义务。 《管理规定》第十六条、第十七条规定：深度合成服务提供者对使用其服务生成或者编辑的信息内容，应当采取技术措施添加不影响用户使用的标识，并依照法律、行政法规和国家有关规定保存日志信息。深度合成服务提供者提供以下深度合成服务，可能导致公众混淆或者误认的，应当在生成或者编辑的信息内容的合理位置、区域进行显著标识，向公众提示深度合成情况。
此外，部分深度合成技术的服务提供者具有备案评估、协助主管部门调查的义务。 《管理规定》第十九条、第二十条、第二十一条规定，具有舆论属性或者社会动员能力的深度合成技术的技术支持者应当按照《互联网信息服务算法推荐管理规定》履行备案和变更、注销备案手续，并按照国家有关规定开展安全评估；在网信部门和电信主管部门、公安部门依据职责对深度合成服务开展监督检查时，应当依法予以配合，并提供必要的技术、数据等支持和协助。
（二）技术支持者的合规义务
深度合成技术的技术支持者具有数据安全和信息保护义务。 《管理规定》第十四条规定，深度合成服务提供者和技术支持者应当加强训练数据管理，采取必要措施保障训练数据安全；训练数据包含个人信息的，应当遵守个人信息保护的有关规定。深度合成服务提供者和技术支持者提供人脸、人声等生物识别信息编辑功能的，应当提示深度合成服务使用者依法告知被编辑的个人，并取得其单独同意。
深度合成技术的技术支持者具有算法机制机理审核义务。 《管理规定》第十五条规定，深度合成服务提供者和技术支持者应当加强技术管理，定期审核、评估、验证生成合成类算法机制机理。深度合成服务提供者和技术支持者提供具有以下功能的模型、模板等工具的，应当依法自行或者委托专业机构开展安全评估：（一）生成或者编辑人脸、人声等生物识别信息的；（二）生成或者编辑可能涉及国家安全、国家形象、国家利益和社会公共利益的特殊物体、场景等非生物识别信息的。
同服务提供者一样，部分深度合成技术的技术支持者也具有备案评估、协助主管部门调查的义务。 《管理规定》第十九条、第二十条、第二十一条规定，具有舆论属性或者社会动员能力的深度合成技术的技术支持者应当按照《互联网信息服务算法推荐管理规定》履行备案和变更、注销备案手续，并按照国家有关规定开展安全评估；在网信部门和电信主管部门、公安部门依据职责对深度合成服务开展监督检查时，应当依法予以配合，并提供必要的技术、数据等支持和协助。
（三）技术使用者的合规义务
深度合成技术的使用者不得利用该技术制作、传播虚假信息。 《管理规定》第六条规定：深度合成服务提供者和使用者不得利用深度合成服务制作、复制、发布、传播虚假新闻信息。转载基于深度合成服务制作发布的新闻信息的，应当依法转载互联网新闻信息稿源单位发布的新闻信息。
此外，深度合成技术的使用者还应遵守网络信息内容生产者的一般义务。 《网络信息内容生态治理规定》第四条规定：“网络信息内容生产者应当遵守法律法规，遵循公序良俗，不得损害国家利益、公共利益和他人合法权益。”第六条规定：“网络信息内容生产者不得制作、复制、发布含有下列内容的违法信息：（一）反对宪法所确定的基本原则的；（二）危害国家安全，泄露国家秘密，颠覆国家政权，破坏国家统一的；（三）损害国家荣誉和利益的；（四）歪曲、*化丑**、*渎亵**、否定英雄烈士事迹和精神，以*辱侮**、*谤诽**或者其他方式侵害英雄烈士的姓名、肖像、名誉、荣誉的；（五）宣扬恐怖主义、极端主义或者煽动实施恐怖活动、极端主义活动的；（六）煽动民族仇恨、民族歧视，破坏民族团结的；（七）破坏国家宗教政策，宣扬*教邪**和封建迷信的；（八）散布谣言，扰乱经济秩序和社会秩序的；（九）散布淫秽、色情、赌博、*力暴**、*杀凶**、恐怖或者教唆犯罪的；（十）*辱侮**或者*谤诽**他人，侵害他人名誉、隐私和其他合法权益的；（十一）法律、行政法规禁止的其他内容。”
（四）传播平台的监管义务
深度合成作品传播平台需承担内容审查义务。 《网络信息内容生态治理规定》第九条规定：“网络信息内容服务平台应当建立网络信息内容生态治理机制，制定本平台网络信息内容生态治理细则，健全用户注册、账号管理、信息发布审核、跟帖评论审核、版面页面生态管理、实时巡查、应急处置和网络谣言、黑色产业链信息处置等制度。”《网络音视频信息服务管理规定》第十一条规定：“网络音视频信息服务提供者和网络音视频信息服务使用者利用基于深度学习、虚拟现实等的新技术新应用制作、发布、传播非真实音视频信息的，应当以显著方式予以标识。网络音视频信息服务提供者和网络音视频信息服务使用者不得利用基于深度学习、虚拟现实等的新技术新应用制作、发布、传播虚假新闻信息。转载音视频新闻信息的，应当依法转载国家规定范围内的单位发布的音视频新闻信息。”但考虑到目前深度合成作品在技术上的识别仍存在一定困难，不应对网络平台的主动审查能力有过高苛求。
深度合成作品传播平台需承担侵权作品删除义务。 《民法典》第一千一百九十五条规定：“网络用户利用网络服务实施侵权行为的，权利人有权通知网络服务提供者采取删除、屏蔽、断开链接等必要措施。通知应当包括构成侵权的初步证据及权利人的真实身份信息。网络服务提供者接到通知后，应当及时将该通知转送相关网络用户，并根据构成侵权的初步证据和服务类型采取必要措施；未及时采取必要措施的，对损害的扩大部分与该网络用户承担连带责任。”
四、结语
基于“对抗生成网络”而产生的深度合成技术本身具有中立性，但其在实际运用的过程中可能被用于违法犯罪活动。作为深度合成技术的从业者或者使用者，应当及时了解国家对深度合成技术所出台的相关法律规范，积极履行合规义务，防范法律风险。作为普通公民，也应提高防范意识，“有图有真相”、“有视频有真相”的时代已成为过去，当有“亲人、朋友”通过语音、视频途径提出财产相关请求时，切记通过多重渠道进行核实，避免自身权益遭受损失。
转自金融法律人，如有侵权，联系删除