“一键脱衣”的 AI,连孩子都不放过

作者: 张成晨

来源: 爱范儿

发布日期: 2023-12-16 16:00:53

AI 技术被用于“一键脱衣”等不当用途,对未成年人造成严重影响。文章详细描述了西班牙和美国发生的真实事件,揭示了 Deepfake 技术的滥用及其对社会的潜在危害。同时,文章也提到了科技平台和法律在应对这一问题上的努力和挑战。

今年以来,各行业的“iPhone”时刻不断上演。Runway 化静为动,Pika 重绘局部,HeyGen 让老外说地道中文,舞台中央你方唱罢我登场。在没有高光的角落,看似普通的换脸 Deepfake 正在开疆拓土,从明星、总统,影响到中学生乃至每个普通人,不惊艳也不颠覆,却足以让我们汗流浃背。

9 月,返校第一天,一名男生走近了 14 岁的伊莎贝尔,对她说了这句话。早晨的校园被八卦煮沸,消息三五成群地传播,每个人的手机里几乎都流传着女同学的“露骨图片”。这是发生在西班牙西南部的真实事件,让仅 3 万人左右的小镇阿尔门德拉莱霍为国际所知。

事件的起因并不复杂,一群好事的男生,将女同学发在社交媒体的照片上传到了一款“一键脱衣”AI 工具。他们所用的 AI 工具可以通过手机 app 或者即时通讯软件 Telegram 使用,口号是“免费脱掉任何人的衣服”,只要别人有照片落在你的手机相册里。

西班牙警方确认,受害者至少有 30 名,主要是 12 岁到 14 岁的女学生。始作俑者大多和她们认识,也是未成年人,至少有 10 名,部分甚至未满 14 岁,不能面临刑事指控。他们在 WhatsApp 和 Telegram 创建群聊传播这些“裸照”,通过 Instagram 威胁受害者,勒索“赎金”和真人裸照。

10 月,美国新泽西州的一所高中发生了类似的情况,受害者也在 30 名左右,她们的男性同学在暑假制作了“裸照”。很多女孩气哭了,其中一位受害者,在这之前从来没觉得 Deepfake 会和自己有关。校长保证,所有图片已被删除,不会再被传播,始作俑者被停学了几天,又像没事人一样回到“案发地点”。

Google 去除相关广告和优化排名系统,也支持本人提供证据后删除相关内容,TikTok 屏蔽“脱衣”等关键词,Reddit 禁止多个域名,Telegram 靠自动监测和用户报告删除违反服务条款的内容。拦路石不足为惧,Deepfake 在今年发展得尤其快,像坐上了马斯克的星舰。

社交网络分析公司 Graphika 统计,仅仅是 9 月,34 个“一键脱衣”平台总共拥有超过 2400 万访客,访问“一键脱衣”服务的 52 个 Telegram 群组至少包含 100 万用户。背后的运营团队还很精明,懂营销和变现,在社交媒体打广告,把服务推荐给“有缘人”。

Graphika 认为,Deepfake 之所以在今年再次起飞,还有个重要的原因——开源 AI 图像扩散模型的功能不断增强,也越来越容易使用。这些开源模型促成了“物美价廉”的 Deepfake 市场,否则“一键脱衣”应用的开发者们,还得托管、维护和运行自己的自定义图像扩散模型,时间更长,成本也更高。

今年 9 月,一位 40 多岁的韩国男性因为用 AI 生成约 360 张儿童色情图片被判入狱,罪名是违反《儿童和青少年保护法》,被判处两年半监禁,这是韩国首次在本国法院判处此类 AI 案件。韩国先驱报报道,他使用“10 岁”“裸体”和“儿童”等提示词来生成这些图像,法院裁定图像足够逼真,驳回了辩方它们不能被视为性剥削的说法。

UUID: 9fae837e-64a2-41c4-9177-9c5bf500f62e

原始文件名: /home/andie/dev/tudou/annot/AI语料库-20240917-V2/AI语料库/果壳公众号-pdf2txt/2023/果壳_2023-12-16「转」_“一键脱衣”的AI,连孩子都不放过.txt

是否为广告: 否

处理费用: 0.0067 元