随着增强显示技术的火爆以及景深追踪摄像头即将进入旗舰级智能手机，目前是时候去优化计算机对所见人体的运动追踪能力，即使这意味着需要计算机“脱掉”用户的衣服。一种全新的 计算机视觉 系统就可以做到这点，尽管听起来有点吓人，但这肯定有其自己的用处。
最基本的问题在于，如果你需要捕捉某人的运动，例如在一部电影中，或是在一款增强现实游戏中，他们身上穿着的衣服会带来很大的麻烦。你觉得，为什么动作捕捉演员需要穿紧身衣？因为 JNCO 牛仔裤会导致系统很难判断他们的腿在什么位置。
同样地，穿着裙子、背着背包，或是身着夹克，除了最基础的穿着之外，其他一切都会干扰计算机对你身体的定位。
将在 盐湖城 CVPR 上发布的“ 多机构项目 ”（PDF）将景深数据与关于体型和肢体功能的智能假设结合在一起。结果可以产生一种类似 X 光的视觉，揭示某人衣服下面身体的形状和位置，即使是在跳舞这样的快速移动中也能实时发挥作用。
论文中的技术基于两种此前已有的方法，即动态融合（DynamicFusion）和身体融合（BodyFusion）。前者使用单个摄像机的景深数据去估计身体姿态，但并不适用于快速运动；后者使用骨骼去估计姿态，但同样会在快速运动中丢失跟踪焦点。研究者将两种方法结合在一起，形成了“双重融合”（DoubleFusion），从景深数据中创造出虚拟骨骼，随后在适当的位置添加皮肤。
正如你在上面看到的，来自摄像机的景深数据与某人的基本参考图像结合在一起，产生了一副骨架，并跟踪身体的关节和末端运动。在这里，你可以看到动态融合（b）、身体融合（c）和两者结合产生的结果（d）。
双重融合取得的最终结果比此前任何单一方法都要更好，在多种姿势和服饰情况下都能得出出色的身体模型。
帽衫、耳机、宽松的衣服，没有什么能挡住双重融合技术的眼睛。
不过，这个技术的一大缺陷在于，如果某人穿了太多衣服，那么系统往往会高估这个人的身材。目前还没有简便的方法去判断，某人是本身很胖，还是穿着肥大的外套。此外，当某人与一个单独的对象，例如桌子或游戏手柄互动时，系统往往无法很好地工作。系统有可能将这些对象解释为肢体的延伸。处理这些异常情况已列入未来的工作计划。
论文的第一作者是来自中国清华大学的 Tao Yu。不过，来自北航、谷歌、美国南加州大学，以及马克斯普朗克研究所的研究员也参与了其中。
论文作者总结：“我们相信，我们方法的健壮性和准确性将赋能许多应用，尤其是在 AR/VR、游戏、娱乐，以及虚拟试衣等领域，因为我们重构了衣服下方的体型。通过双重融合技术，用户首次可以方便地将自己数字化。”
不可否认，这项技术有许多有趣的应用，但也不可否认的是，这项技术从基本上来说是个 X 光检查工具。
