【泡泡一分钟】通过机器人的单个图像进行自监督的3D形状和视点估计

每天一分钟，带你读遍机器人顶级会议文章

标题：Self-supervised 3D Shape and Viewpoint Estimation from Single Images for Robotics

作者：Oier Mees, Maxim Tatarchenko, Thomas Brox and Wolfram Burgard

来源：2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)

编译：章绩伟

审核：黄思宇，孙钦

欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权

摘要

本文提出了用于从单个输入图像进行联合3D形状预测和视点估计的卷积神经网络。在训练过程中，该网络从输入图像中对象的轮廓中获取学习信号——一种自监督的形式。对于3D形状和视点，它不需要真实数据。因为它依赖于这种薄弱的监管形式，所以我们的方法可以轻松地应用于实际数据。实验证明，本文提出的方法在形状估计和视点预测的自然图像上产生了合理的定性和定量结果。与以前的方法不同，本文的方法不需要数据集中同一对象实例的多个视图，这大大扩展了在实际机器人场景中的适用性。通过使用幻觉形状来展示它，以提高在仿真和PR2机器人中抓取现实世界对象的性能。

图1 我们的工作目标是从对象的单个图像预测对象的视点和3D形状。我们的网络仅通过将输入对象的分割蒙版与预测形状的投影进行匹配来学习来解决任务。

图2 我们的编码/解码网络处理输入的RGB图像并预测对象视点和形状残差，将其与平均形状组合以生成3D模型的最终估计值。

图3. 根据椅子（上排），飞机（中排）和杯子（下排）的合成数据计算出的平均形状。

图4 从Shapenet数据集渲染的合成图像的定性结果。我们能够预测与3D平均形状大不相同的3D形状。

图5 对真实图像上预测形状的定性分析。尽管从合成数据到实际数据差异很大，但我们仍然能够成功预测一致的形状。

图6. 可视化学习的姿态分布。

图7. 某些故障案例。在左上方的示例中，网络可以预测圆形椅子的大致形状，但无法去除平均形状。对于左下角的情况，网络无法预测一致的形状。在右侧，它重建的形状仅适合输入视图，并且在未观察到的视点下看起来不正确。

图8. 输入场景用Mask-RCNN [13]（a）分割。计划对穿透真实对象的原始感官数据进行把握（b）。掌握对预测对象的计算（c）。

图9 使用PR2机械手的示例取放执行。

Abstract

   We present a convolutional neural network for joint 3D shape prediction and viewpoint estimation from a single input image. During training, our network gets the learning signal from a silhouette of an object in the input image - a form of self-supervision. It does not require ground truth data for 3D shapes and the viewpoints. Because it relies on such a weak form of supervision, our approach can easily be applied to real-world data. We demonstrate that our method produces reasonable qualitative and quantitative results on natural images for both shape estimation and viewpoint prediction. Unlike previous approaches, our method does not require multiple views of the same object instance in the dataset, which significantly expands the applicability in practical robotics scenarios. We showcase it by using the hallucinated shapes to improve the performance on the task of grasping real-world objects both in simulation and with a PR2 robot.