雷军官宣“小米大模型”
昨晚,雷军在其个人的第四次年度演讲中分享了自己的30多年成长历程和感悟,并宣布了小米科技的新方向:深耕底层技术、软硬深度融合,通过AI全面赋能。演讲中,雷军宣布了小米在AI领域的布局,推进大模型研发和落地,特别是手机端侧大模型的初步跑通。目前,小爱同学已接入大模型、开启邀请测试。
中国首个开源多模态预训练语料“书生·万卷”发布
据《科创板日报》报道,日前,上海人工智能实验室与中国大模型语料数据联盟合作发布了名为“书生·万卷”1.0的多模态预训练语料。该资源涵盖文本、图文、视频数据集,开源的数据总量超过2TB,包括5亿文本、2200万图文交错文档、1000个节目影像视频,领域包括科技、文学、媒体、教育、法律等。
微软:GPT-4在医疗方面具有巨大潜力
据《科创板日报》报道,微软研究团队近日表示,类似GPT-4的大型语言模型在医疗领域具有巨大潜力,它们具备“通用结构化”能力,能从大规模临床文本中提取患者信息。这一潜力对医疗领域的影响可能与大型模型在软件开发和生产力工具领域的变革性影响相当。微软称,尽管GPT-4仅通过“通用”互联网数据进行训练,而非特定医学数据,但其在构建复杂临床研究、处理医疗图像和其他生物数据方面优于市场上的医疗工具。
亚马逊利用生成式AI增强产品评论
亚马逊宣布,将运用生成式AI协助消费者更好地理解产品评价,而无需消费者逐一阅读大量评论。该零售巨头将运用新技术,在产品详情页面提供简短文本,凸显顾客评论中提及的产品特点和情感。这将协助用户更轻松地把握评论主题。此外,亚马逊还将以可点击的按钮形式,突显关键产品属性,这类似于之前提供的功能,即突显评论中常用的词汇,以便用户更方便获取信息。
《纽约时报》禁止AI供应商“吞噬”其内容
据Adweek报道,8月初,《纽约时报》更新了服务条款(TOS),禁止科技公司抓取其内容(包括文章、视频、图像和元数据)来训练任何AI模型。此举发生之际,科技公司继续通过ChatGPT和Google Bard等AI语言应用程序获利,这些应用程序通过大量未经授权的互联网数据抓取来获得其功能。
美国一学校正使用AI来禁书
据外媒报道,爱荷华州梅森市的学校董事会已开始利用AI技术,在2023/24学年之前从该地区的图书馆中制定可能被禁止的书籍清单。
Zoom:不会使用客户数据训练AI模型
Zoom日前表示,它将收回最近对其服务条款的修改,该修改允许该公司使用一些客户内容来训练其机器学习和AI模型。此举是在最近社交媒体上受到客户批评后做出的。一位发言人在一份电子邮件声明中表示,“Zoom已相应更新其服务条款和产品,以明确此政策。”
Anthropic从韩国SK Telecom筹集了1亿美元
据路透社报道,韩国最大电信公司SK Telecom表示,将向AI公司Anthropic投资1亿美元,从而加强其电信驱动的AI业务。Anthropic是一家在构建AI基础模型方面与OpenAI竞争的初创公司,是资金最雄厚的AI公司之一,5月份从谷歌和Spark Capital等投资者那里筹集了4.5亿美元资金。
大型语言模型和知识图谱:机遇与挑战
大型语言模型(LLMs)已在知识表示领域乃至全球掀起了一场风暴。这一拐点标志着从显式知识表示到重新关注显式知识和参数知识混合表示的转变。该研究讨论了知识图谱(显性知识)和大数据(参数知识)社区内的一些共同争论点,并推测重新聚焦带来的机遇和愿景,以及相关的研究课题和挑战。
Natural Language is All a Graph Needs
该研究提出了InstructGLM(指令微调图语言模型),基于自然语言指令系统地设计了高度可扩展的提示,并使用自然语言描述图的几何结构和节点特征,以便指令调整LLM来执行学习以及以生成方式对图进行推理。此研究方法超越了ogbn-arxiv、Cora和PubMed数据集上的所有GNN基线,这证明了方法的有效性,并揭示了生成语言模型取代GNN作为图机器学习的基础模型的前景。
IP-Adapter:用于文本到图像扩散模型的文本兼容图像提示适配器
该研究提出了一种名为IP-Adapter的方法,用于在预训练的文本到图像扩散模型中实现图像提示功能。IP-Adapter的关键设计是解耦的交叉注意机制,它将文本特征和图像特征的交叉注意层分开,实现了有效且轻量级的适配器设计。尽管方法简单,仅拥有22M参数的IP-Adapter在性能上可以媲美或超越完全微调的图像提示模型。
VisIT-Bench:受现实世界应用启发的视觉语言指令跟踪基准
该研究介绍了VisIT-Bench(视觉指令基准),这是用于评估实际使用的指令跟踪视觉语言模型的基准。研究人员的出发点是策划70个“指令系列”,他们认为指令调整视觉语言模型应该能够处理这些指令。在VQAv2和COCO等评估之外,他们的任务范围还包括基本识别、游戏和创意生成。经过整理,数据集包括592个测试查询,每个查询都有一个由人类撰写的指令条件说明。
AI模型开始“自我防卫”:知道自己上当受骗了
大型语言模型(LLMs)因其能够根据人类提示生成高质量文本,正在各行各业落地应用。同时,这些模型也已被证明有可能根据用户提示生成有害内容。通过强化学习使模型与人类价值观保持一致等方法,是当前AI行业的热门研究方向之一。然而,即使是对齐的语言模型也容易受到对抗性攻击,这些攻击会绕过对生成有害文本的限制。该研究提出了一种简单的方法,通过让大型语言模型过滤自身的响应来抵御这些攻击。
研究结果表明,即使模型没有微调到与人类价值观一致,也可以通过使用语言模型验证内容来阻止它向用户展示有害内容。