中南大学提出ROSEFusion，实现移动下的高精度在线RGB-D重建

下）再次出现严较重为数众多众运动清晰的前提，相关联的剖面上图（右）均在挡住边境两处再次出现了飞洞，但并不曾再次出现全幅上位图的分辨率清晰。

在非线性建模求求单反相机位姿各个方面，既然梯度增高通则不能很好地两管控大尺度旋转，ROSEFusion 采行随机建模原理。据了求，这是应用内首个基于随机建模的应用软件 RGB-D 修缮原理。随机建模算通则的基本每一次就是促使地对求生活飞间开展随机谐波，审计每个谐波求的一个的系统性（也指优点，fittness），便根据它们的优点正向下一轮的谐波。因此，优点参数和谐波策略是随机建模算通则的两个较举足轻重各个方面。一个好的优点参数应该对求的一个的系统性近似合力强且测算开销小。一个好的谐波策略应该能让谐波要求覆盖一个的系统求。

2、基于 depth-to-TSDF 的优点参数

为了最小化为数众多众运动清晰带来的影响，ROSEFusion 基于剖面上图借助于单反相机行踪。因此，优点参数也要基于剖面上图测算。一种简单想通则是测算相邻两帧的剖面上图的反之亦然和提出异议申请。然而，剖面上图往往区别于频谱，剖面上图特性点的近似合力和鲁棒性高；而且并能单反相机伸展下准确的较重对角反之亦然关系无法测算，不利于开展帧间反之亦然和提出异议申请。ROSEFusion 采行 depth-to-TSDF 的优点参数测算原理。给定也就是说剖面上图

，剖面单反相机的候选单反相机位姿

，相关联的仔细观察似然参数为：

其中会

为也就是说的 TSDF 场，对于在实践中坐标系下的一个 3D 点

，其 TSDF 值越远差不多 0 则说明切线越远靠近修缮内层。采行极大似然可不估的原理建模

，取等式 (1) 的负对数，给与如下建模目的：

其中会

即为候选单反相机位姿

的优点参数，它取值了也就是说剖面上图

与也就是说 TSDF 场的符合性（conformality）。参见上图 2 的简单示意上图。这是一种则有几何学（与 RGB 都是）的位姿优点取值，且无需测算帧间的反之亦然和提出异议申请。

上图 2：基于 depth-to-TSDF 的单反相机位姿优点（一个的系统性）测算：剖面上图相关联的 3D 点云经过单反相机位姿变换后，在 TSDF 场中会任意的总和。

3、基于随机建模的单反相机位姿行踪

光子线性建模（Particle Filter Optimization, PFO）是近年来提出异议的基于光子线性思想设计的随机建模算通则[3]。光子线性是更为著名的精神状态估测算通则，它依据核苷酸仔细观察，通过更进一步谐波来最大化仔细观察似然，以模拟精神状态的真实特有种。早年的很多 SLAM 算通则都基于线性原理[4]。但无需指出的是，本文包括的光子线性建模，是一个建模器，而非精神状态估测算通则。简单上谈论，在本文原理中会，每几组的单反相机位姿建模包括若干次光子较重谐波（线性迭代步），而在习惯基于光子线性的 SLAM 算通则中会，每几组的姿态可不估相关联一次光子较重谐波。如上图 3 右图，在 ROSEFusion 中会，SLAM 的每几组（下标为 t）位姿建模包括若干次光子线性建模迭代（下标为 k）。

上图 3：ROSEFusion 的概率上图框架：右下东半为 SLAM 的概率上图框架，右东半为某几组单反相机位姿的光子线性建模每一次。基于光子线性的 SLAM 是立足于连续帧的核苷酸位姿可不估，而 ROSEFusion 中会的光子线性建模则是立足于某几组位姿的核苷酸迭代建模。

光子线性建模的每一次如下：实际上几组的单反相机位姿为中会心，在 SE(3)生活飞间中会谐波大用量 6D 位姿作为光子：

初始权较重均为 1。每次迭代中会，首先根据光子的权较重开展较重谐波，然后依据动合力学框架

驱动光子伸展，便根据仔细观察似然更换光子权较重：

。较重复上述步骤直至一个的系统位姿被光子为数众多覆盖或达致最大迭代数。上述似然参数

即为前述实用性参数。

然而，光子线性建模包括到大用量光子的谐波和权较重更换，测算开销较低，无法受限制应用软件修缮的系统对性要求。此外，如何设置一个好的动合力学框架

是降低建模效率的极其较举足轻重。为此，本文相结合光子为数众多智（particle swarm intelligence）来修改线性建模原理，充分发挥光子为数众多中会的也就是说一个的系统求来正向光子的伸展，借助于基于光子为数众多智的动合力学框架。同时，为避免大用量光子谐波与更换的测算开销，博士论文提出异议可不谐波的光子为数众多巨集（Particle Swarm Template, PST）：可先谐波一个光子集，以为数众多智为正向，通过促使伸展和可视光子集，来达致驱动光子覆盖一个的系统求的目的。上图 4 和上图 5 说明了可不谐波的光子为数众多巨集及其伸展、可视的示意上图。

上图 4：可不谐波的光子为数众多巨集（PST）及其随迭建模代伸展和可视的示意上图

上图 5：对于每几组的单反相机位姿建模，光子为数众多巨集都要经过若干次伸展和可视，直至任意到覆盖一个的系统求或达致最大迭代数

在第k步迭代中会，首先将 PST 整本体伸展到上一步优点略低于的光子所在的位置，然后可视 PST 星本体使其轴长

受限制（见上图 6）：

其中会，

象征性了 PST 星本体的各向同性往往，而

象征性了 PST 星本体的尺度。简单上谈论，v为相邻两步一个的系统求彼此之间的位移向用量。因此，PST 星本体会沿着一个的系统求再次出现的朝著开展较大范围的抓取；并且这个抓取范围和上一步的略低于优点变化率，这使得算通则越远差不多一个的系统求则抓取范围越远小，更不易任意。等式 (3) 独创了随机梯度增高中会的动用量更换（momentum update）功能。

上图 6：每一个迭代步的光子为数众多巨集伸展和可视，其中会可视采行了动用量更换功能

下面的截图说明了剖面上图位姿建模每一次的建模，包括目的参数的建模（右下方）和 PST 的更换（右下角）。该截图均建模了 PST 的各向同性往往（星本体的形状）和 PST 中会位姿的朝向特有种（星本体的颜色），PST 的尺度则本体现在右下方圆的半径。自已会可以看出，目的参数的非凸性严较重，而 ROSEFusion 可以很鲁棒地任意到一个的系统位姿。

在借助于中会，PST 和 TSDF 都存储在 GPU 中会，每个光子的优点测算在 GPU 中会立体化完成，测算效率很低，每次迭代的测算整整约为 1 ms，每帧有约无需 20~30 次迭代。而 CPU 均主要职责 PST 的伸展和可视参数的测算。这也最小化了 CPU 与 GPU 彼此之间的文件传输用量。

4、实验结果与评测

现有的应用软件 RGB-D 修缮匿名数据集仅仅包括并能单反相机伸展的 RGB-D 核苷酸。因此，该文提出异议了首个立足于并能单反相机为数众多众运动的 RGB-D 核苷酸数据集 FastCaMo。该数据集统称合成和真实两个部份：合成数据集 FastCaMo-Synth 基于 Facebook Ubuntu的 Replica 中庭过场数据集构建，作者合成了并能伸展的单反相机超高速，并过场了 RGB 和剖面上图，同时对 RGB 上位图添加了合成为数众多众运动清晰，对剖面上图添加了合成频谱；真实数据集 FastCaMo-Real 包括了作者用 Kinect DK 照相的 12 个完全相同过场的 24 个 RGB-D 核苷酸，由于单反相机平均速度较快，无法获得高低质用量的单反相机超高速作为真值，作者采行激光照相仪获取了过场的零碎三维修缮，通过取值三维修缮的零碎性和精确性来评价单反相机行踪的精确性。FastCaMo 数据集的单反相机平均速度最快达致了线平均速度 4.6 m/s、角平均速度 5.7 rad/s，相比之下过往任何匿名数据集。

博士论文在 FastCaMo 上对比了两个较举足轻重的应用软件 RGB-D 修缮原理 BundleFusion[5]和 ElasticFusion[6]。结果如上图 7 和上图 8 右图。可以看出，ROSEFusion 的超高速精度、修缮低质用量（包括零碎性和精确性）都显著高于其它两个原理。值得一提的是的是，ROSEFusion 是在无在实践中位姿建模、无回环检测、不遗弃任何几组的前提达致这样的性能的。

上图 7：在 FastCaMo-Synth 并能核苷酸上的单反相机超高速精度（ATE）对比（黄色为最佳）。

上图 8：在 FastCaMo-Real 并能核苷酸上的修缮低质用量（零碎性和精确性）对比（黄色为最佳）。

匿名数据集 ETH3D[7]包括了三个并能单反相机伸展的 RGB-D 核苷酸（camera_shake），上图 9 说明了在这三个核苷酸上的完全相同原理的对比，ROSEFusion 在全部核苷酸上取得了最佳单反相机行踪效果。

上图 9：在 ETH3D 的 camera_shake 核苷酸上的单反相机超高速精度（ATE）对比（黄色为最佳）。

上图 10 为 camera_shake_3 核苷酸的修缮效果对比，以及单反相机超高速精度切线（完全相同位姿精度下的帧占有比）。

上图 10：在 ETH3D camera_shake_3 核苷酸上的修缮效果和单反相机行踪精度（ATE）对比。

在普通平均速度的 RGB-D 核苷酸上，ROSEFusion 也能达致与也就是说最佳算通则更为的单反相机行踪精度（上图 11）。SOTA 算通则一般都包括了在实践中位姿建模，而 ROSEFusion 没有。

上图 11：在 ICL-NUIM 数据集的普通平均速度核苷酸上的单反相机超高速精度（ATE）对比（黄色为最佳，橙色次之）。

上图 12 说明了位姿建模每一次中会 PST 的 2D 建模，该上图对比了基于 PST 的光子线性建模（本文原理）、光子为数众多建模算通则（Particle Swarm Optimization, PSO）以及普通的光子线性建模（无 PST）的建模每一次。可以看出，基于 PST 的光子线性建模在并能探索一个的系统求的平均速度和任意性各个方面具有明显优势。

上图 12：完全相同建模原理的 2D 建模每一次对比（黄色为更优），基于 PST 的光子线性建模（第三行）可以并能任意到更优的求。

如下截图展示了并能照相一个零碎中庭过场的每一次（截图不曾加速）。这个核苷酸同样包括了大用量并能为数众多众运动。其中会一段照相每一次中会，隔壁的灯泡被部份关闭。由于 ROSEFusion 的建模原理是则有几何学的，与 RGB 高分辨率都是，因而可以很鲁棒的两管控具体情况。

作者希望通过本文引起应用对立足于并能单反相机伸展的 SLAM / 应用软件修缮问题的瞩目。现有原理一般基于 RGB 上位图的特性或分辨率反之亦然，采行梯度增高通则求求非线性建模问题。由于并能单反相机为数众多众运动导致的 RGB 上位图为数众多众运动清晰，大尺度旋转建模带来的高度非凸 / 非线性问题，过往原理无法理论上借助于单反相机位姿行踪。ROSEFusion 采行随机建模的原理求求 SLAM 的视觉里程计问题，相结合则有几何学的优点参数测算，借助于了无 IMU 来开展的并能单反相机为数众多众运动应用软件修缮。ROSEFusion 当然可以相结合在实践中位姿建模和回环检测，借助于更高低质用量的三维修缮。事实上，后者也很可能可以基于随机建模来借助于。如希望实质性技术交流，喜爱联系作者：kevin.kai.xu@gmail.com

注释：

[1] Miles Hansard, Seungkyu Lee, Ouk Choi, and Radu Patrice Horaud. 2012. Time-of-flight cameras: principles, methods and applications. Springer Science & Business Media.

[2] Seungkyu Lee. 2014. Time-of-flight depth camera motion blur detection and deblurring. IEEE Signal Processing Letters 21, 6 (2014), 663–666.

[3] Bin Liu, Shi Cheng, and Yuhui Shi. 2016. Particle filter optimization: A brief introduction. In International Conference on Swarm Intelligence. Springer, 95–104.

[4] Sebastian Thrun. 2002. Probabilistic robotics. Commun. ACM 45, 3 (2002), 52–57.

[5] Angela Dai, Matthias Nießner, Michael Zollhöfer, Shahram Izadi, and Christian Theobalt. 2017. BundleFusion: Real-time Globally Consistent 3D Reconstruction using On-the-fly Surface Reintegration. ACM Transactions on Graphics (TOG) 36, 3 (2017), 24.

[6] Thomas Whelan, Stefan Leutenegger, Renato F Salas-Moreno, Ben Glocker, and Andrew J Davison. 2015. ElasticFusion: Dense SLAM without a pose graph. In Proc. Robotics: Science and Systems.

[7] Thomas Schops, Torsten Sattler, and Marc Pollefeys. 2019. BAD SLAM: Bundle adjusted direct rgb-d slam. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 134–144.

。

汕头哪家医院看不孕不育比较好
银川皮肤病医院排名
武汉肿瘤医院挂号