如今,大模型研究日新月异。然而,却并非所有师生都有足够的资金和算力,参与到大型模型的相关研究当中。为解决这一问题,推进大模型技术和应用的创新落地,2022年,智谱AI与CCF联合发起“CCF-智谱大模型基金”,围绕预训练大模型理论、算法、模型、应用等相关研究提供资助,以期降低大模型研究的门槛,让每一个计算机领域科研工作者均有机会参与大模型的研究。
本基金具体研究内容包括但不限于基于大模型的AIGC、文图/图文模型、自动代码模型、人机对话模型等。将提供百万级科研经费资助,并根据申请项目的具体情况提供算力(来自并行科技赞助)支持。
申报主题如下:
1. 预训练模型鲁棒性(Robustness)和泛化性(Generalization)提升
2. 预训练模型在分布外数据(out-of-distribution data)上的过度自信问题解决
3. 预训练模型针对事实性的提升
4. 预训练模型的认知和知识学习(包括认知架构、知识增强、知识支持、知识监督等)
5. 预训练模型的推理加速技术
6. 预训练模型的压缩技术
7. 预训练模型的多平台适配(包括数据移动、并行策略、大规模训练等)
8. 预训练模型赋能的知识获取
9. 预训练模型的领域适应与任务适应技术
10. 多语言的预训练模型
11. 多模态的预训练模型
12. 融合知识图谱的预训练语言模型
13. 面向对话系统,融合知识的预训练模型
14. 面向信息检索,融合互联网结构或模型知识的预训练模型
15. 垂直领域预训练大模型(如医疗、法律、金融、汽车等)