我国在类脑计算、类脑感知两个重要方向均已取得基础性突破。在开放世界中,智能系统不仅要处理庞大的数据量,还需要应对各种「长尾问题」,如自动驾驶中面临的突发危险、出入隧道的剧烈光线变化、夜间强闪光干扰等。在这类任务上,传统视觉感知芯片由于受到「功耗墙」和「带宽墙」的限制,往往面临失真、失效或高延迟的问题,严重影响系统的稳定性和安全性。
为了克服这些挑战,清华大学精密仪器系类脑计算研究中心聚焦类脑视觉感知芯片技术,提出了一种基于视觉原语的互补双通路类脑视觉感知新范式。5月30日,该研究的论文《面向开放世界感知、具有互补通路的视觉芯片》登上《自然》杂志封面。这是该团队继2019年8月的类脑计算芯片「天机芯」后,第二次登上《自然》封面,标志着国内芯片领域在类脑计算和类脑感知两个重要方向上均已取得基础性突破。
据介绍,新研究提出了一种受HVS多级特性启发的互补感知范式,其借鉴人类视觉系统的基本原理,将开放世界的视觉信息拆解为基于视觉原语的信息表示,并通过有机组合这些原语,模仿人视觉系统的特征,形成两条优势互补、信息完备的视觉感知通路。
基于这一新范式,团队研制出了世界首款类脑互补视觉芯片「天眸芯」,它可以在极低的带宽(降低90%)和功耗条件下,实现每秒10000帧的高速、10bit的高精度、130dB的高动态范围视觉信息采集。它不仅突破了传统视觉感知范式的性能瓶颈,而且能够高效应对各种极端场景,确保系统的稳定性和安全性。基于「天眸芯」,清华团队自主研发了高性能软件和算法,并在开放环境车载平台上进行了性能验证。
在多种极端场景下,该系统实现了低延迟、高性能的实时感知推理,展现了其在智能无人系统领域的巨大应用潜力。天眸芯的成功无疑是智能感知芯片领域的一个重大突破。它不仅为新一代AI技术的发展提供了算力支持,更为自动驾驶、具身智能等重要应用开辟了新的道路。
清华大学表示,结合团队在类脑计算芯片天机芯、类脑软件工具链和类脑机器人等方面已应用落地的技术积累,天眸芯的加入将进一步完善类脑智能生态,有力地推动人工通用智能的发展。