AI日报|专家警告:AI蘑菇采摘指南或有致死风险;100%攻击成功率:一种更严重的后门威胁

来源: 学术头条

发布日期: 2023-09-01 16:25:39

今日AI领域动态包括AI成功预测数百种气味、下一代数据驱动天气模型基准、评估计算机视觉模型的平等性、AI缩短Web3初创公司上市时间、AI在金融业的机遇与挑战等。专家警告AI生成的蘑菇采摘指南可能有致死风险,同时AI在金融领域的应用带来机遇与挑战,监管至关重要。

今⽇值得关注的⼈⼯智能新动态:

AI成功预测数百种⽓味。科学家设计了⼀种只需分析化合物的分⼦结构,就能描述出化合物⽓味的AI系统——它的描述往往与训练有素的⼈类嗅探器的描述相似。研究⼈员⽤它列出了与数百种化学结构相对应的⽓味,如“果味”或“⻘草味”。这本⽓味指南可以帮助他们设计出新的合成⽓味,还可以帮助⼈们了解⼈脑是如何解读⽓味的。

WeatherBench 2:下⼀代数据驱动天⽓模型基准。

⾕歌推出了WeatherBench 2(WB2),这是新⼀代数据驱动全球天⽓模式的基准。WB2是对2020年发布的原始基准的更新,该基准基于最初的低分辨率ML模型。WB2的⽬标是通过提供⼀个可信的、可重复的框架来评估和⽐较不同的⽅法,从⽽加快数据驱动天⽓模型的发展。其中⼀个重要的功能使评估变得更容易:WB2的关键组成部分是⼀个开源评估框架,允许⽤户以与其他基线相同的⽅式评估他们的预测。

评估计算机视觉模型的平等性。Meta AI宣布,通过⾃我监督学习训练来⽣成通⽤特征的尖端计算机视觉模型DINOv2现在可以在Apache 2.0许可下使⽤。他们还推出了FACET(计算机视觉公平性评估),这是⼀个新的综合基准,⽤于评估计算机视觉模型在分类、检测、实例分割和视觉接地任务中的公平性。

⾕歌云⾼管:AI可以缩短Web3初创公司的“上市时间”。

Google Cloud Web3⼯程总监James Tromans表示:“他们⽬标是弥合AI和Web3之间的差距,着眼于未来和数字所有权。”去年5⽉,Google组建了⾸个Web3团队,旨在挖掘⾏业潜⼒,让Google Cloud成为开发者的⾸选。9⽉,Google Cloud成为Axie Infinity的以太坊侧链Ronin⽹络上交易的验证器,同年晚些时候,也成为Solana⽹络上的验证者。

James Tromans还表示说:AI的作⽤是缩短公司和项⽬的上市时间,并指出了包括能够编写和审核智能合约的AI在内的⽣产⼒⼯具。

Kevin O'Leary警告:不要束缚AI。⽇前,O'Leary Ventures董事⻓Kevin O'Leary对AI热潮提出了⾃⼰的⻅解,并警告政策制定者不要扰乱市场需求。他表示,“你为什么要系上某种安全带?因为AI最好的监管者是市场本身。它的成本如此之⾼,以⾄于你需要⼤量的资⾦来推动这⼀进程。”

英国出版商:保护被AI模型抄袭的作品权益。

⽇前,英国出版商敦促其⾸相保护作者和其他内容制作者的知识产权。在英国出版商进⾏⼲预之际,ChatGPT聊天机器⼈背后的公司OpenAI在⼀份法律⽂件中辩称,作者起诉该公司使⽤他们的作品来训练强⼤的AI系统,是“误解了”美国版权法的“范围”。出版商协会在信中要求Rishi Sunak(起诉OpenAI的作者之⼀)在11⽉的峰会上明确表示,当AI系统吸收英国创意产业⽣产的内容时,必须尊重知识产权法。

专家警告:AI蘑菇采摘书或有致⼈死亡⻛险。据报道,亚⻢逊上充斥着⼤量蘑菇采摘指南,⽽这些指南都是AI⽣成的。尽管最近⼏个⽉出现了许多报道,详细描述了亚⻢逊电⼦货架上各种类型的AI⽣成材料,但专家们警告称,这种特殊的AI⽣成的垃圾可能值得格外关注。“亚⻢逊和其他零售店充斥着⼤量AI觅⻝和识别书籍,”纽约真菌学会周⽇发布的帖⼦中写道,“请只购买知名作者和觅⻝者的书籍,因为这简直关乎着我们的⽣死。”

AI⾰命:⾦融业的机遇与挑战。AI在⾦融领域的应⽤正在改变整个⾏业。其应⽤领域从客户服务提升、欺诈检测和⻛险管理到信⽤评估和⾼频交易。然⽽,它也带来了⼀些挑战,其中包括与透明度、可解释性、公平性、问责制和可信度相关的问题。此外,由于容易出错,AI可能加剧现有的系统性⻛险,甚⾄导致⾦融危机。监管对于利⽤AI的好处同时降低其潜在⻛险⾄关重要。

尽管全球都认识到了这⼀需求,但对于AI在⾦融领域的应⽤,仍然缺乏明确的指导⽅针或⽴法。该报告讨论了可指导⾦融业制定有效的AI监管的关键原则。

加强欧盟⼈⼯智能法案:定义AI操纵的关键术语。欧盟《⼈⼯智能法》旨在规范AI的操纵性和有害使⽤,但缺乏对关键概念的精确定义。该研究为提⾼该法案的概念清晰度和可执⾏性提供了技术建议。

研究⼈员回顾了⼼理学模型对“⼈格特质”的定义,认为该法案应保护完整的“⼼理测量特征”。他们敦促扩⼤“⾏为”的范围,将“偏好”包括在内,因为偏好会对⾏为产⽣因果影响,也会受⾏为影响。总体⽽⾔,这些建议加强了欧盟AI法案中模糊概念的定义,提⾼了监管有害AI操纵⾏为的精确适⽤性。

100%攻击成功率:⼀种更严重的后⻔威胁。最近,后⻔攻击的漏洞已经威胁到机器学习模型在实际应⽤中的可信度。

传统观点认为,并⾮每个⼈都能成为攻击者,因为在设计触发⽣成算法的过程中,往往需要投⼊⼤量精⼒和进⾏⼤量实验,来确保攻击的隐蔽性和有效性。相反,该研究表明存在⼀种更严重的后⻔威胁:任何⼈都可以利⽤⼀种容易获取的算法进⾏⽆声后⻔攻击。根据经验,在MNIST、CIFAR-10、GTSRB和CelebA等多个基准数据集中,所提出的攻击始终能达到100%的攻击成功率。

更重要的是,在清洗标签设置中,提议的攻击在中毒率⾮常⼩(约10%)的情况下仍能实现⼏乎100%的攻击成功率。利⽤⼀种有损压缩算法⽣成的拟议攻击触发器也可在其他相关压缩算法中转移,从⽽加剧了这种后⻔威胁的严重性。

AI代理推荐:融合LLM,实现交互式推荐。该研究弥合了推荐模型和⼤型语⾔模型(LLM)之间的差距,将它们各⾃的优势结合起来,创建了⼀个多功能交互式推荐系统。

研究⼈员引⼊了⼀个名为RecAgent的⾼效框架——以LLM为⼤脑,以推荐模型为⼯具。他们⾸先概述了将LLM转化为RecAgent所需的⼀套最基本的⼯具。然后,在RecAgent中提出了执⾏任务的⾼效⼯作流程。通过集成LLM,RecAgent使传统的推荐系统(如基于ID的矩阵因式分解模型)成为具有⾃然语⾔界⾯的交互式系统。

在⼏个公共数据集上的实验结果表明,RecAgent作为会话推荐系统取得了令⼈满意的性能,超过了通⽤LLM。

BioCoder:上下⽂驱动的⽣物信息代码⽣成⼯具。BioCoder是⼀个⽤于评估现有预训练模型在⽣成⽣物信息代码⽅⾯的能⼒的基准。在函数代码⽣成⽅⾯,BioCoder涵盖了潜在的包依赖关系、类声明和全局变量。

它包含来⾃GitHub的1026个Python和Java函数和1243个⽅法,以及来⾃Rosalind项⽬的253个示例。BioCoder包含⼀个模糊测试评估框架,研究⼈员将其⽤于评估许多模型,他们对这些模型的详细分析强调了领域知识、实⽤代码⽣成和上下⽂理解的重要性。

UUID: f5438af8-8c22-4730-a904-587bd50c2499

原始文件名: /home/andie/dev/tudou/annot/AI语料库-20240917-V2/AI语料库/学术头条公众号-pdf2txt/学术头条2023年/学术头条_2023-09-01_AI日报|专家警告:AI蘑菇采摘指南或有致死风险;100%攻击成功率:一种更严重的后门威胁.txt

是否为广告: 否

处理费用: 0.0084 元