当AI开始欺骗全世界：一键换脸，克隆语音，骗钱，骗色，制造恐慌
来源：英国那些事 2023-05-15 11:18:22
AI的迅猛发展，令人喜忧参半。
人们一方面惊叹于那碳基生物无法比拟的强大工作效率，期待AI能帮忙节省不必要的劳动力。
另一方面，却又害怕它模糊现实和虚构的边界，切断人类分辨真伪的能力。
【资料图】
几乎AI诞生的那一刻起，AI造假的恐慌也随之不断蔓延。
（AI热图：川普被捕）
事实证明这一天不会太久。
如今，用AI编造的故事不仅能够蒙骗普通网友，就连全球各大媒体也纷纷上当。
AI新闻造假，全球媒体受骗
上个月，dailymail刊登了一则新闻 —— 22岁的加拿大小哥Saint Von Colucci为了在韩国顺利出道，以防弹少年团的朴智旻为模版，整容了12次后不幸丧命。
新闻瞬间吸引了不少目光。
随后TMZ跟进，印度NDTV、加拿大Postmedia以及韩国的YTN、Osen、star等媒体也都对此进行了报道。
故事有图有真相，从小哥的手术过程到闯韩经历……各种细节应有尽有。
已经被主流媒体筛选过的事实，网友们自然也不会过多怀疑，真情实感地为小哥的遭遇感到惋惜。
可紧接着，此事就迎来了反转……
有驻韩记者、印度《滚石》助理编辑以及美国知名广播电台iHeartRadio等，进一步查证后提出了质疑：这位Saint Von Colucci的故事应该是编造的，甚至这个人可能压根就不存在。
疑点有很多。
文中说他曾为不少Kpop爱豆写过歌，但他死后却没有任何业内人士公开哀悼。
此外，韩媒MBC询问警方后得到的回复是：当时并未收到类似的死亡案例报告。
还有人把他的照片拿去检测网站，结果显示有75%的可能性是由AI生成的。
这件事于是立马被贴上了“AI新闻造假”的标签。
眼看质疑声越来越大，dailymail已经默默删文，TMZ也马上澄清了新闻有误。
但事情到这还没结束。之后又又又迎来了反转。
本月初有媒体报道，Saint Von Colucci的家人正准备起诉他的韩国经纪公司，以及宣称他们儿子的死亡是骗局的记者。
言下之意，报道都是真实的。
然而，这篇报道中又没有任何实质性的证据或采访，也没有家人出镜。已经被骗过一次的网友，根本不知道该相信谁了。
本是一场悲剧，现在成了闹剧。
如今，距离第一篇报道发布已经过了半个多月。调动了这么多来自英媒、加拿大、韩国以及印度等地的媒体，却依旧无法判断一个人的身份是真是假。
这让人深刻地意识到，AI除了捏造事实，更可怕的是会让人失去分辨真相的能力。
AI造谣层出不穷，险些引发社会恐慌
加拿大小哥的事件姑且只涉及到一个人。还有些更恶劣的AI造假操作，不仅会导致社会恐慌，还可能引发针对政府的信任危机。
上个月在国内就有这样一起事件。
甘肃 平凉市公安局崆峒分局网安大队发现，多达21 个网站上同步出现了一条本地“新闻”：甘肃一火车撞上修路工人，致9人死亡 。
如此骇人听闻的标题外加大体量的集中报道，这条 “新闻”的点击量很快超过了1.5万，引发了不少网友的讨论。
但此事纯属子虚乌有，完全就是一个博流量的幌子。
当地网警立刻介入，调查后发现， 犯罪嫌疑人洪某就是利用了AI 技术进行的新闻造假。
他购买了大量账号，通过 ChatGPT全网抓取社会热点新闻素材，简单修改一番就能避开平台的查重审查，炮制出假新闻。 最后再通过购买的软件大量上传至不同账号里，就能非法获利。
这次幸好警方发现及时，在“新闻”尚未引起恐慌时就将犯人捉拿归案。
但此事也足以让人意识到，AI造假后患无穷。
AI技术日趋完美，图片视频以假乱真
随着midjourney、Stable Diffusion等制图工具的兴起，现在用AI生成照片的效果，早就脱离了“一眼假”的尴尬，达到了肉眼难以分辨的程度，正式宣布“有图有真相”的时代已经结束。
专家们一直警告，未来AI技术滥用可能产出各种假闻。其实不用未来，这一天早就到来了。
小到恶搞名人，自娱自乐：
比如，之前有国外网友用Midjourney生成“教皇穿羽绒服”，图片质量之高完全做到了以假乱真，被浏览了2800多万次不说，还引起了不小的骚动。
由于当下没有可以交叉比对的新闻报道，很多网友都信以为真。
大到捏造国际事件，直接改写历史：
还记得2001年时发生在卡斯卡迪亚的9.1级大地震和海啸吗？
当时房屋倒塌，遇难者家属泣不成声，救援人员连夜工作，各国记者都赶往现场报道。
当然不记得。
因为根本就没有什么地震，这些都是网友发在Reddit上的AI图。
这位网友模仿新闻报道总共生成了20多张照片，各种角度都有，伪造了一次大型灾难事件。
虽然图片制作得比较粗糙，不少地方都能看出破绽，但不可否认当时确实骗到了不少人：
“难道只有我一个人自问‘我怎么不记得这件事了？’直到看见版块分区？”
而除了照片，AI的视频造假技术也早就成熟。 deepfacelab等AI换脸软件的成品，只靠肉眼几乎无法分辨。
比如下面这段网友制作的阿汤哥。那几个经典表情，完全就是阿汤哥本汤，是粉丝都会误判的程度。看原视频的话会发现声音也一模一样。
另一段打高尔夫的动作也没什么大问题。乍看之下，根本无从辨别是真人还是虚拟。
这还是2021年制作的，现在技术早就又更迭了无数次。
AI克隆人声，诈骗屡次得逞
人声合成是AI技术滥用的重灾区。
现在的AI模型 —— 比如VALL-E —— 可以做到仅凭三秒钟的语音样本，就完美克隆出本人的声线，甚至连说话的语气和习惯都一模一样。
有不少骗子利用这点进行诈骗。最近，西班牙的小型电影制作公司Peabody Films就成了受害者。
公司的编剧兼导演Bob William透露，此前有人伪造本尼的声音跟他们打电话谈合作。
AI的声音听起来完完全全就是本尼本人，最开始公司相信了，还暗喜这么有名的演员会对自己的剧本感兴趣。
可交谈了几次后，对方开始露出了马脚。“本尼”既不愿意见面，还要求公司提前给他打20万英镑。
众人这才意识到被骗了。好在钱还没打，损失不大。
相比“本尼”事件，另一个骗子明显高明许多。
上个月，化名mourningassasin的网友出售了多首R&B歌手法海（Frank Ocean）的“泄露曲目”。
听了一小段公开片段后，网友们都相信歌曲是真的，因为声音和风格一模一样。
很多歌迷联系mourningassasin购买，他趁此赚了13000多加币。
可后来证明，这些歌跟法海一点关系都没有，全是AI制作的。
当前的AI技术可以根据任何歌手的声音，曲风以及唱歌习惯等进行模仿创作，即便死忠粉也很难分辨真假。
这种情况下，除非法海本人否认，仅靠路人很难打假，这就给了骗子可乘之机。
前阵子还流行过AI版本的公鸭、侃爷以及孙燕姿。
虽然大部分只是出于好玩，但这也恰恰证明了AI技术对音乐行业产生的震荡。
明星们的音频容易获取、模仿，因此是AI诈骗的重点“被害人物”，但这并不表示普通人就不会受到波及。
国外有不少利用AI克隆声音进行诈骗的例子。仅在加拿大涉案金额就已超过百万。
诈骗犯大多通过社交媒体搜集音频素材，之后用AI模仿声音主人的声线，再拿去欺骗他们的家人。
一个月前，美国一位母亲Jennifer DeStefano接到了“绑匪”电话，对方称劫持了她15岁的女儿Brie，要求100万美元的赎金。
电话那头传来了“女儿”的呼救。Jennifer听到的当下就相信了，因为不仅声音，就连哭泣的方式都和女儿一模一样。
好在后来丈夫及时证实了女儿是安全的，骗子才没得逞。
但这件事依旧让人后怕，也给广大网友造成了强烈的不安。
在能媲美“真假美猴王”的技术面前，没人敢保证拥有“火眼金睛”永不上当。
金融诈骗新方式，AI噱头下的骗局
如果说哪个领域的AI滥用能产生最强的破坏力，那多半就是金融圈。
一旦被有心人士利用，其震动足以使无数人倾家荡产。
众所周知，马斯克曾放话要推出一个 TruthGPT人工智能项目，声称要去理解宇宙本质、探索真相。
从狠批AI对社会的潜在危险，再到下海入局……该计划一经公布就备受瞩目。
可没想到，马斯克还没做出什么名堂，这个项目就先被别人拿去骗钱了。
本周三，得克萨斯州监管机构紧急叫停了一项名叫TruthGPT的代币项目。
三月时，它由男子Horatiu Charlie Caragaceanu旗下的两家公司The Shark of Wall Street和Hedge4.ai联合推出。
乍一看名字，不少人都以为该项目与马斯克的 TruthGPT相关，是他旗下团队推出的相关产品。
而该团队其实也传达出了“ 连 马斯克本人都非常支持”的意思。
相关推广页面上还出现了马斯克本人的头像和动画形象，给人的观感是：这已经得到币圈大佬的专业认证了 。
除此之外，TruthGPT代币的官网上，还出现了加密货币交易平台币安的创始人赵长鹏、以太坊联合创始人Vitalik Buterin等行业顶尖人士。
普通投资者看到这里，很容易会被权威人士的背书打动，就这么相信了这个代币的合法性。
再加上该项目还一直对外洗脑自己的超强功用：
使用 Elon Musk AI 的模型，可以分析各种加密货币，从而对各种数字资产进行估价。
同时还能将可投资产品和骗局予以区分。 这样，就能在保证投资安全的前提下获得收益。
宣传文案上大胆写着：根据统计，投资后的收益将会翻上 1000 倍。
整个看下来给人感觉便是：有钱不赚王八蛋。
这一系列操作随后引起了德 州监管机构的注意。
结果调查后发现，这根本就是一场人工智能投资骗局。
项目方借着马斯克 TruthGPT的名号进行宣传，将所谓的代币项目，包装成利用AI模型获得高利润的投资手段。
实质上，他们压根就没有什么人工智能模型，有的只是一个包装话术。
德州监管机构揭发称： TruthGPT代币从未在当地进行合法注册，而且Caragaceanu 的两个公司均未获得运营许可。
总之，这是一个彻头彻尾的骗局。
可怕的是，类似这种假借AI名义进行金融诈骗的行为已非个例。
仅在4月份，美国加州金融保护和创新部门（DFPI）就查出五家公司都在进行AI诈骗。
随着AI技术的发展，揪出一个 TruthGPT代币，也还会有下一个xxx代币出现。
对于金融界而言，应该如何防范，已然成为亟待攻克的一大难题。
AI换脸肆虐侵权，法律保护
AI的换脸技术应该是近年来争议最大、也是民众最痛恨的技术之一。
因为用它给女性造黄谣，几乎就是动动手指的事。
受害者太多了……
此前，一个名叫 Atrioc 的 Twitch主播曾在直播时被网友发现，浏览器显示正在观看色情片。
而色情片的内容，是其他女主播被 AI技术伪造后生成的。
这件事立马引起了众怒。很多网友怒斥 Atrioc 的行为侵犯了女主播们的权益。
但同时，也不乏猥琐人士到处求资源，给受害者带来了二次伤害。
其中一位受害者名叫 QTCinderella。
她发现此事时为时已晚，网络上到处流传着“她的”色情视频。不少人把这当真事一样讨论得津津有味。
QTCinderella 一度情绪崩溃， 在直播中痛哭：
“这种感觉就像遭到侵犯，被利用，看着赤身裸体的自己被肆意传播……不该是我来花钱把这些东西移除掉，也不该是我被骚扰，看着自己的‘裸照’满天飞……我用人格保证，我TM一定会起诉你们。”
类似的遭遇还发生在女生Taylor Klein身上。
大四时她饱受网络霸凌，经常在ins上被陌生男子辱骂。
直到某天Taylor收到好友发来的链接，才明白这是为什么。
链接打开是一个色情网站。而视频的主人公和她长相一模一样，标题还赫然列着她的名字。
Taylor当然知道这不是自己。
原来一直以来，她的脸被AI盗用伪造成了色情片。那些陌生男子因此才会侮辱她是“恶心的bitch”。
（示意图）
她试着向警察寻求帮助，等来的答复却是：她所在的州，目前还没有关于深度伪造色情片的相关法律。
而现有法律中“未经同意进行色情行为”的相关规定，也无法对此进行制裁，因为这些黄片里只出现了Taylor的脸，并不涉及她本人。
无奈之下，Taylor只好和其他受害者联手寻找嫌疑人。
可她们央求警方给嫌疑人打电话后，得到的回应也只是“下次不会再发生”。至于惩罚，压根不存在……
被污名化的受害者已经做了所有能做的，却依然无法得到公平的待遇。因此直到现在，用AI造假黄片的行为依旧屡禁不止。
如果一直任由科技发展，却没有相应的法律政策跟上予以规范，不难想象在这个如此依赖网络的时代，人们面临的最坏后果是什么：
即便看到图片和视频，也不敢轻易相信新闻。
接到家人的电话，需要反复确认是不是真人。
拍摄满意的照片上传网络，隔天发现自己成了黄谣主角，百口莫辩……
人人畏惧虚假的楚门世界，人人却都成了主角。
