面向VR/AR的先进图形图像采集技术四维重建（空间三维加上时间一维）是微软提出的一种全新实时3D视频技术。将多个深度摄像机，采集重建对象360度无死角的深度信息，实现了多视角下的实时动态三维重建，即三维重建的对象可以动起来，主要应用于日常生活中人的动作行为的重建，整个三维重建的目标包括还原人体几何和动作信息。

1.项目创新点和技术优势：

实时四维重建技术结合虚拟现实与增强现实将有广阔的应用前景。虚拟现实头显的进一步发展，以及今年以Magic Leap One为代表的新一代增强现实显示技术产品的推出，将对相关内容制作提出更高的要求，而实时四维重建技术将生逢其时。本项目的主要创新点如下：

创新点一：市场上以Kinect为代表的深度相机产品普遍分辨率不高，难于用于高精度的重建；而传统双目立体算法的计算速度较慢，并且对于“白墙”这样的缺少纹理的对象，无法准确估计深度。

创新点二：传统的重建技术主要针对静态、不运动的场景和目标的三维重建，并且速度较慢，很难做到实时；而大部分基于RGBD深度相机的重建方法和系统，在对存在非刚体运动的场景和对象下，还未达到实用的水平，并且受制于RGBD深度相机的分辨率，重建精度不高。

创新点三：本项目研发的实时四维重建技术及表演捕捉系统结合虚拟现实与增强现实将产生一批创新的内容形态和应用方式。

可以预期，通过本项目的研发，将为虚拟现实与增强现实行业带来创新性的杀手级应用，产生较大的社会、经济效益。

近几十年来，基于视觉的三维重建一直是计算机视觉、计算机图形学领域重点研究的技术，并已得到广泛应用。随着RGBD深度相机的应用，以前难以想象的实时进行三维重建得以实现并发展，特别是利用多台RGBD深度相机同时从不同视角同时拍摄重建对象，可大幅提高点云获取效率，实现高速甚至实时的三维重建。但是，由于无法实时处理非刚体运动所带来海量的模型参数和计算，大部分系统都只能针对静态、不运动的场景或对象进行重建，通过假设其中的运动都是简单刚体运动来简化计算。

未来可用场景：

随着以MagicLeap One和HoloLens2为代表的新一代VR/AR头戴显示设备的发展，对相关内容制作提出了更高的要求。本项目研发的四维重建技术将为VR/AR行业提供一种方便、高效、可扩展的内容制作手段。利用实时四维重建技术即可方便地将人或其他物体的各种运动捕捉、重建成高质量的模型序列，并可直接应用于VR/AR内容的制作，行程对真实世界的逼真重现。与此同时，所有这些实时四维重建的内容，都可以被录制存储，并可以以任意视角、任意尺度进行回看，还可进行暂停、快放、跳转等操作。再结合5G高速网络传输及VR/AR显示端的实时渲染显示，远程全息通信将是本项目目前预期的终极使用场景，从而颠覆现有的通讯方式。

公司核心员工在专业算法领域有超过16年的研究经验，团队成员部分来自于世界各所顶尖大学，如美国佐治亚理工学院、中科院、清华大学、电子科技大学等高校取得硕士、博士学位的优秀科学家；另一部分是来自谷歌、微软、百度、Intel等知名企业的资深员工。