”眼见“不一定”为实“之后，怎么办？

继此前“10分钟被AI换脸骗走430万元”事件引发关注之后，5月25日，4月发生的又一起AI换脸诈骗事件被媒体曝光。这次金额达到245万，且整个诈骗过程时间更短，只有9秒钟。

在前一天，中国互联网协会发文提醒，不法分子利用AI技术，通过声音合成，伪造成特定人物的声音，通过AI换脸，伪装成特定人物，实时与他人进行视频通话。更换后的面部表情自然，以假乱真，能够冒充他人身份联系被害人，博取被害人信任后实施诈骗。面对利用AI技术的新型骗局，广大公众需提高警惕，加强防范！

图片来源：视觉中国

9秒被骗走245万

“打了视频电话又是熟人”

据大皖新闻报道，今年4月，安徽安庆经开区发生一起“冒充熟人”诈骗案，经开公安分局反诈中心民警调查发现诈骗分子使用了一段9秒钟的智能AI换脸视频佯装“熟人”，让受害人放松警惕从而实施诈骗。

“视频里边我看到是他的脸”，“但是没几秒就挂了，说在开会不方便”。4月27日，何先生的微信“好友”突然向其发起视频通话，电话接通后，何先生看到“好友”正在一间会议室内，就在他准备进一步询问时，“好友”直接挂断了电话，并表示在会议中有重要事情交代，需要何先生添加QQ沟通。

随后，“好友”在QQ上告诉何先生，目前有一个项目招标需要周转资金，希望何先生先行帮忙垫付。“因为打了视频电话又是熟人”，“我就没多想，就转账了”，基于对“熟人”的信任，何先生没有犹豫，立刻让家人将245万元到对方指定的账号上，直到事后拨打对方电话才得知被骗。

发现被骗之后，何先生迅速报警，接报案后，安庆经开公安分局立即抽调精干警力组成专案组第一时间对涉案账户的资金流、信息流进行查询追踪。4月28日，专案民警连夜赶赴北京市抓获3名涉诈嫌疑人。5月22日，警方将先行追回的132万元被骗款及时返还给何先生，目前案件正在进一步侦办中。

AI换脸、换声诈骗怎么防？

回拨电话、观察画面

5月24日，中国互联网协会发布公告，面对利用AI技术的新型骗局，广大公众需提高警惕，加强防范。中国互联网协会表示，伴随着深度合成技术的开放开源，深度合成产品和服务逐渐增多，利用“AI换脸”“AI换声”等虚假音视频进行诈骗、诽谤的违法行为屡见不鲜。

中国互联网协会表示，在AI时代，文字、声音、图像和视频都有可能是深度合成的，在转账汇款、资金往来这样的典型场景，要通过回拨对方手机号等额外通信方式核实确认，不要仅凭单一沟通渠道未经核实就直接转账汇款，无论对方是谁。

据界面新闻，针对使用AI换脸、拟声技术进行诈骗的案例，小冰公司CEO李笛表示，目前了解到的用AI换脸的诈骗团队，主要是采用Wav2Lip这种开源技术，通过音频去驱动口型。“但是在某些口型上是会出现问题的，比如嘟起嘴时的口型错误、边缘抖动，或者口型朝向与五官不搭配等等。”

瑞莱智慧联合创始人、算法科学家萧子豪也表示，在视频通话时可以通过让对方做一些大幅度的摇头、张嘴之类的动作，“如果黑产做的模型不太精细、只做了正脸的情况下，突然露齿时生成的牙齿或舌头就不会特别清晰，耳朵处也可能会出现不正常的阴影。”

据萧子豪介绍，从技术角度辨别内容是否经过深度伪造同样有迹可循，辨别思路大致可分为两种，一种是寻找图像编辑痕迹，另一类则是判断行为是否符合常识。

人工智能诈骗接二连三

更高层面监管亟须落地

据证券时报，“人工智能教父”杰弗里·辛顿今年年初就曾经警告，人工智能对人类构成的威胁将比气候变化更加紧迫。辛顿认为，人工智能是一种智能工具，可以辅助人类做一些繁琐、重复和创意性工作，但也会有不法之徒用它来做违法乱纪的勾当。人工智能不但能撰写文章，还能生成图像、视频。如果用来弄虚作假，几乎可以乱真，普通人很难识别出来。如果有人用它来制作虚假图像、视频，传递错误信息，其破坏力远大于单纯的文字形式。

据新华网，“短短10分钟，被骗430万元”“换脸冒充当红女星带货，赚得盆满钵溢”……这种“换脸”术和拟声术，让人防不胜防。如此种种，无不说明换脸术的滥用，已经对公共利益构成威胁。

针对技术手段日益更新的AI诈骗事件，2022年11月25日，国家互联网信息办公室、工业和信息化部、公安部联合发布《互联网信息服务深度合成管理规定》（以下简称规定），自2023年1月10日起施行。规定要求深度合成服务提供者对使用其服务生成或编辑的信息内容，应当添加不影响使用的标识。提供智能对话、合成人声、人脸生成、沉浸式拟真场景等生成或者显著改变信息内容功能的服务的，应当进行显著标识，避免公众混淆或者误认。要求任何组织和个人不得采用技术手段删除、篡改、隐匿相关标识。

今年4月11日，国家网信办起草了《生成式人工智能服务管理办法》（征求意见稿），提出AI内容必须真实准确，其中也明确提到，禁止非法获取、披露、利用个人信息和隐私、商业秘密。

为此破局，一方面要强化公共宣教，确立新的防骗反诈意识；另一方面，更重要的还是加快防御性、对抗性技术工具的推广落地和应用嵌入。比如说，不妨尝试在常用的社交媒介软件中，内嵌入声纹、人脸识别的身份核验模块等。

来源｜每日经济新闻综合自大皖新闻、界面新闻、证券时报、新华网、中国互联网协会