清华朱军团队推出⾼保真 4D 重构模型 Vidu4D。近来，由于能够⽣成逼真⽽富有想象⼒的画⾯，视频⽣成模型备受关注。此外，据观察，这些模型还表现了出很强的 3D⼀致性，⼤⼤提⾼了它们作为世界模拟器的潜⼒。在这项⼯作中，清华⼤学朱军团队推出了⼀种新颖的重构模型——Vidu4D，其能从单个⽣成的视频中精确重构出 4D（即连续的 3D 呈现），解决了与⾮刚性和帧失真相关的难题。
这种能⼒对于创建保持空间和时间⼀致性的⾼保真虚拟内容⾄关重要。Vidu4D 的核⼼为动态⾼斯曲⾯（DGS）技术。DGS 优化时变翘曲函数，将⾼斯曲⾯（曲⾯元素）从静态状态转换为动态翘曲状态。这种变换可以精确地描绘运动和变形随时间的变化。为了保持曲⾯对⻬⾼斯曲⾯的结构完整性，他们设计了基于连续翘曲场的翘曲状态⼏何正则化，⽤于估计法线。
此外，他们还对⾼斯曲⾯的旋转和缩放参数进⾏了细化，从⽽⼤⼤减轻了翘曲过程中的纹理闪烁，并增强了对细粒度外观细节的捕捉。Vidu4D 还包含⼀个新颖的初始化状态，为 DGS 中的翘曲场提供了⼀个正确的起点。Vidu4D 配备了现有的视频⽣成模型，整个框架在外观和⼏何⽅⾯都展示了⾼保真⽂本到 4D ⽣成能⼒。论⽂链接：https://arxiv.org/abs/2405.16822。
项⽬地址：https://vidu4d-dgs.github.io/。