近年来，虚拟手在VR游戏等领域得到了广泛的应用，开发者们不断探索用逼真的虚拟手实现基于手势识别的交互运动，但要让用户充分感受真实运动的逼真感还存在许多技术难题。当前，在虚拟/增强现实（VR/AR）领域，大多数追踪手部动作的最先进技术缺乏足够的准确性。
那些依赖于视觉检测的跟踪设备在黑暗环境中或有障碍物阻挡视线的情况下会无法工作，而那些依赖于基于速度和力计算位置的惯性测量单元（IMU）更是容易受到电磁干扰。同样，一些由软传感器组成的设备也不能总是区分出手何时在做动作、何时触摸会导致物体变形。
近日，来自韩国首尔大学、美国斯坦福大学和三星电子的科研团队，就通过紧密耦合的方式将视觉传感器和IMU融合，克服了这些限制并设计出了一个新的视觉惯性骨架跟踪（VIST）框架。据论文描述，该框架由一个配备传感器的手套和头戴式摄像机组成，是一种准确、经济、便携、甚至可清洗的跟踪系统，能够结合视觉和力的测量准确跟踪人体手和手指的运动，准确跟踪一些在现实环境中受障碍物影响而难以检测的运动。
此外，研究人员也展示了这一新跟踪系统应用于VR、假肢，户外无人机群等各个领域的潜力。在手部追踪系统中，对手部的建模是一个关键步骤。在该研究中，人手被建模为分段关节骨架模型，并选择手背和在日常生活中起关键性作用的三个手指（拇指、食指和中指）作为目标跟踪段。
为了获得目标跟踪段的视觉和惯性信息，研究人员设计了一个传感器手套，手套分两层：带有7个IMU的手套内层，带有37个视觉标记的外手套层，视觉标记具有4种不同颜色（红色、蓝色、绿色和黄色），手套上还有一个头戴式立体摄像机。
同时，研究人员还开发了一种基于滤波的视觉惯性手部跟踪算法，该算法主要包括对视觉信息的提取以及视觉惯性手部运动的估计，通过将IMU信息与提取的视觉信息和手部解剖约束融合处理，来估计手部运动。研究人员在真实场景中对VIST系统进行了一些具有挑战性定性测试，在背景中使用彩色物体（杂志、水果和文具）和一幅画（阿尔勒的卧室），在视觉上与手套标记具有相似的颜色/图案。
研究表明，尽管存在视觉上对抗的物体和背景，该系统仍可以稳健地跟踪手部运动。此外，通过IMU辅助的对应搜索，可以将标记观察结果与手套上的真实匿名标记进行稳健匹配，同时有效地消除异常值，从而即使在视觉复杂的对象和背景下，也能表现出稳定的跟踪性能。研究人员还在户外对VIST系统的性能进行了测试。实验表明，VIST系统可以在户外稳健地跟踪手部运动，而这一点对大多数现有的系统来说是相当困难的。