OPPO为了解决双向反射分布函数 (SVBRDF)提取过程中所遇到的纹理、高光、阴影问题，南京大学计算机软件新技术国家重点实验室的过洁博士等多位专家学者和OPPO软工多媒体与智慧开发部高级算法工程师王磊共同提出了一种深度学习方法，可从单个随意捕获的图像中生成解缠结的 SVBRDF 映射。
凭借其高效、灵活的特质，该研究的论文《用于单帧图像 SVBRDF 估计的高光感知双流网络》已被计算机图形学顶级国际学术会议 ACM SIGGRAPH 2021 接收。
SIGGRAPH是全球影响最广、规模最大、最权威的计算机图形学会议，每年全球仅130篇左右论文入选。让计算机产生令人赏心悦目的图片，创造出和真实世界一致的虚拟世界，一直是计算机图形学研究人员追求的目标。受限于传统方法在处理大规模几何、复杂材质以及特殊光照方面的局限性，计算机还无法达到“以假乱真”的程度。因此，研究人员需要新的探索方向，提高计算机的图形渲染能力。
在OPPO 和南京大学合作的题为《Highlight-Aware Two-Stream Network for Single-Image SVBRDF Acquisition》的论文中，研究员们从深度学习出发，用神经网络结合大量数据，尝试在未知的空间变化情况下，完成平面材质的外观建模。论文中的方法仅采用了单张图片作为输入，不需要相机参数和光源参数，就能输出高质量材质参数。
图形学和深度学习的融合在虚拟三维场景内容创建过程中，材质的高质量重建向来是一个复杂耗时的工作。传统的材质重建方法通常需要依赖特殊的设备、受过专业训练的技术员以及长时间的拍摄。而OPPO和南京大学合力设计的双流网络，只需要消费级别的相机（手机等），并且只需要拍摄一张图片，即可由非专业人员重建出高质量的材质参数。
其中，双流网络以HA卷积为基础，其中HA卷积的作用是：在过度曝光的图像区域填补缺失内容；因此，双流网络可以充分利用图像的有用特征，促进材质属性的解缠学习。这也正是本篇论文的关键性创新。
本文的任务是让计算机感知真实环境中真实物体的材质。材质用使用空间变化的表面函数表示，即SVBRDF（Spatially Varying Bidirectional Reflectance Distribution Function），研究人员进一步简化为漫反射（diffuse）、法向（normal）、粗糙度（roughness）、高光（specular）。
模型架构双流网络（Two-Stream）包含三个方面，HA卷积、AFS（An attention-based feature selection）以及FU-Branch。HA卷积受gated convolution的设计启发，旨在当图片被高光污染时，对高光区域的细节进行恢复；Two-Stream中两个独立分支的双流网络：HA-Branch和ST-Branch，主要用于特征提取。
还能改善简单地堆叠HA卷积产生的问题，即产生过度模糊的法线和有偏的镜面分量；AFS借鉴了Channel Attention的思想，针对SVBRDF的不同材质贴图的恢复，能够从HA-Branch和ST-Branch中侧重提取不同的特征。
FU-Branch的作用是融合提取的特征，并在设计上采用四个独立网络，能够分别重建材质的漫反射diffuse、法向normal、粗糙度roughness、高光specular。
解决的难点包括如何解决图像过曝问题、如何解决模型过拟合以及如何解决diffuse 和 specular 贴图的解缠效果差。通过在各种可用的数据集上进行定性和定量实验，研究员们验证了模型捕获SVBRDF的性能。尤其是在高光图片数据集上进行了验证。
深度学习为解决传统的图形学相关问题带来新的机遇。
OPPO的研究员们认为，深度学习可以很方便地处理传统图形问题中的高维度和多模态数据，以及提升传统算法的性能和鲁棒性。具体在这篇论文中，完成材质估计，传统的方法需要依赖昂贵的设备和专业的人员，但是深度学习所带来的智能化操作使得普通用户也能完成材质估计这个任务。这篇论文是OPPO在对真实环境的理解以及AR虚实融合等方面持续深耕的充分体现，代表在材质估计领域，OPPO已经走在了世界研究水平的前列。
接下来，该技术将用于元宇宙、物体重建等领域，帮助打造更具真实感、更丰富的3D场景，OPPO也正在计划将该技术通过ARUnit开放给OPPO开发者使用。