深度丨知人知面不知心！警惕AI换脸金融诈骗术 21经济网

二是涉嫌侵犯肖像权，根据《中华人民共和国民法典》，任何组织或者个人不得以丑化、污损，或者利用信息技术手段伪造等方式侵害他人的肖像权。 未经肖像权人同意，不得制作、使用、公开肖像权人的肖像，但是法律另有规定的除外。 中国网络空间安全协会人工智能安全治理专委会专家 薛智慧：如果从娱乐大众的角度来说的话，现在市面上也有很多的这些软件和工具，能够达到AI换脸的效果，但是仿真度只有六七分的样子，大众直接就能看出来。 但是如果要生成一个诈骗视频来说话，就要生成咱们仿真度极高的这种点对点视频。
吴先生从没有过这类经历，判断是被人"换脸"修了图，于是向市公安局坪山分局碧岭派出所报警。 AI幻术肆虐之下，许多受骗人被骗得倾家荡产，甚至背负巨额债务。 2024年3月，一名中国香港的职员在一场"多人视频会议"后被骗2亿港元，最后发现这场视频只有他自己是"真人"，其他人都是AI换脸冒充的。 2024年，封面新闻曾对1500多名大学生做过一个调研，结果显示半数受访大学生本人或身边的人曾遭遇疑似AI诈骗，超7成大学生对AI诈骗感到恐慌，坦言"面对AI诈骗防不胜防"，仅有25.1%认为"骗不到自己身上"。
伟哥在线药房 但随着深度伪造技术的不断发展和应用，利用假视频、假音频等假消息载体煽动暴力引发事故的风险将会越来越大。 尤其是当人工智能技术越来越多地用于法院时，如果正向的检测技术跟不上深度伪造的技术步伐，而人眼又无法区分这些材料的真伪性，那么就可能造成案件的误判，严重影响司法公正和受害人利益。 鉴于深度伪造的成本和门槛呈现出越来越低的趋势，日后的这类风险值得警惕。 三是现有法律尚不能约束深度伪造产品在社交媒体上的广泛传播，对于造成重大负面影响的匿名假视频、假音频制作者也无法进行有效追责。 二是犯罪分子为了逃避法律制裁，坚称原告提供的举证材料是利用深度伪造技术制作的虚假材料，而如果没有办法证伪其观点，可能会使犯罪分子逃脱法网制裁。 但在深度伪造技术迅速发展和应用的情形下，如果没有足够的技术手段来区分假视频、假音频等深度伪造产品的真实性，就会对原有法律体系带来很大挑战。 由此可见，一条策划良好的假文本新闻就足以引起很大的金融震荡。
例如，一段由特朗普总统在脸谱网上分享的关于美国众议院议长南希•佩洛西（Nancy Pelosi）的视频就获得了250 万次点击量。 视频中，佩洛西如同喝醉了一般，神志不清，说话磕巴，举止怪异。 此外，美国前总统奥巴马的脸也被用来制作假视频，攻击特朗普是个"十足的笨蛋"。 诚然，深度伪造技术存在着一些正面使用的前景，例如为商业发展、艺术创作、医疗行业等领域提供了新的发展空间。 除了要提高自我防范意识，如何对AI技术加强监管，也成了越来越多人关注的问题。 中国计算机学会安全专业委员会数字经济与安全工作组成员 方宇：实际上从我目前看到的深度伪造的实时视频上来看，其实还是可以通过一些方式，去进行一些验证。 AI换脸这一技术的出现，导致耳听为虚、眼见也不一定为实了。 专家表示，其实AI人工换脸无论做得多么逼真， 想要识别视频真假还是有一些方法的。 李一舟的视频号账号在2月22日被禁止关注，与此同时，其小程序"一舟一课"也因违反《即时通信工具公众信息服务发展管理暂行规定》被暂停服务。
例如，微小的面部表情、眼球运动、头发和面部特征的交互方式存在异常。 同时，"深度伪造"的算法也会显示不自然的光线和阴影，会有与光源不一致的阴影或未正确对齐的反射。 那比如说我们可以要求对方在视频对话的时候呢，在脸部的面前通过挥手的方式，去进行一个识别，实时伪造的视频，因为它要对这个视频进行实时的生成和处理和AI的换脸。 北京航空航天大学法学院副教授赵精武在接受媒体采访时表示，他近期就处理了多起用户从社交平台直播间下单购买AI课程后遭遇诈骗的案例。 只要提前设置好评论立场或者风格，如志杰抹黑、阴阳怪气、拉踩等，AI就能自动生成各种风格的评论内容，干扰社会舆论。 世界经济论坛发布的《2024年全球风险报告》提醒，AI驱动的错误信息和虚假信息是全球经济面临的最大风险。 在吴先生收到的彩信中，发件人要求他拨打其提供的手机号进行联系。
在传统的电信诈骗案件中，不法者大多从非法渠道购买个人信息，个人信息来源则是网站、中介、公共服务甚至政府部门。 而随着AI合成技术的发展，一旦人脸等生物信息被广泛泄露，将造成不可估量的后果。 在全球化背景下，风险也随着人员和信息的流动向全球扩散，深度伪造技术的影响范围注定会超越单一国家，对世界各国都构成重大挑战。 例如，可以在研发有效检测手段的基础上，在浏览器中安装"火眼金睛""真相卫士"等应用插件，自动检测视频、音频等消息的真实性并告知用户，使用户能快速获知信息是真实的还是伪造的，避免上当受骗和遭受其他损失。 为此，政府部门应加强与社交媒体、新闻机构、非政府组织等机构的合作与交流，共享在深度伪造技术领域的信息渠道，确保在重大假消息出现时能及时处置和有效应对。 鉴于假视频和音频最可能首先出现在社交媒体平台上，且传播速度极快，范围极广。 而互联网和社交媒体往往将相同或类似兴趣的人群聚集在一起形成网络社群，虚假、偏见和歧视的消息也更加容易在这里传播并固化。 此外，还可以借鉴美国防部高级研究计划局（DARPA) 通过"挑战赛"的方式解决棘手问题的做法，通过举办"反制深度伪造挑战赛"等技术竞赛的方式促进这一领域的科技创新，并将成果应用于解决社会问题。 不难预见，随着深度伪造技术的不断发展和进步，这一现象将会有增无减。