虚 幻 GT： 使 用 虚 幻 引 擎 生 成 地 面 真 相 数 据 集原 作 Thomas Pollok , Lorenz Junglas , Boitumelo Ruf , and Arne Schumann翻 译 方 建 勇大 量 数 据 已 成 为 现 代 计 算 机 视 觉 算 法 开 发 的 一 项 基 本 要 求 ， 例 如 神 经网 络 训 练 。 由 于 数 据 保 护 法 、 无 人 机 飞 行 许 可 或 昂 贵 设 备 ， 数 据 收 集通 常 是 一 项 成 本 高 昂 且 耗 时 的 任 务 。 特 别 是 ， 如 果 通 过 手 动 注 释 收 集的 数 据 来 生 成 地 面 实 况 。 通 过 合 成 数 据 生 成 ， 可 以 直 接 从 虚 拟 场 景 中提 取 大 量 图 像 和 元 数 据 ， 进 而 可 以 对 其 进 行 定 制 ， 以 满 足 算 法 或 用 例
的 特 定 需 求 。 此 外 ， 虚 拟 对 象 的 使 用 避 免 了 由 于 数 据 保 护 问 题 而 可 能出 现 的 问 题 ， 并 且 不 需 要 使 用 昂 贵 的 传 感 器 。 在 这 项 工 作 中 ， 我 们 提出 了 一 个 利 用 虚 幻 引 擎 生 成 合 成 测 试 数 据 的 框 架 。 虚 幻 引 擎 提 供 了 一个 模 拟 环 境 ， 例 如 无 人 机 数 据 采 集 或 自 主 潜 水 。 然 而 ， 我 们 的 过 程 与生 成 数 据 的 计 算 机 视 觉 任 务 无 关 ， 因 此 可 以 用 于 创 建 通 用 数 据 集 。 我们 通 过 生 成 合 成 测 试 数 据 来 评 估 我 们 的 框 架 ， 利 用 该 模 型 训 练 和 评 估了 用 于 目 标 检 测 的 CNN 以 及 V-SLAM 算 法 。 评 估 表 明 ， 我 们 生 成 的合 成 数 据 可 以 作 为 真 实 数 据 的 替 代 。
1 引 言深 度 学 习 领 域 的 最 新 进 展 显 著 改 善 了 许 多 计 算 机 视 觉 任 务 的 结 果 ， 例如 对 象 检 测 、 语 义 分 割 、 人 物 识 别 和 姿 势 估 计 。 然 而 ， 这 种 数 据 驱 动
方 法 需 要 大 量 训 练 数 据 ， 通 过 绘 制 边 界 框 或 分 割 图 像 来 注 释 采 集 的 数据 和 生 成 地 面 真 相 是 一 个 特 别 耗 时 和 关 键 的 过 程 ， 因 为 错 误 的 数 据 可能 会 对 训 练 的 收 敛 性 和 模 型 实 现 的 最 终 精 度 产 生 巨 大 影 响 。 此 外 ， 数据 驱 动 方 法 不 仅 受 益 于 大 型 多 功 能 数 据 集 ， 而 且 还 改 进 了 经 典 的 计 算机 视 觉 算 法 ， 如 果 可 以 在 大 量 数 据 上 对 其 进 行 评 估 和 测 试 。 除 了 生 成合 适 的 地 面 真 相 所 需 的 时 间 外 ， 在 获 取 图 像 数 据 时 还 需 要 考 虑 其 他 一些 方 面 。 首 先 是 保 护 个 人 隐 私 的 措 施 ， 其 他 方 面 涉 及 公 共 当 局 的 指 导和 批 准 ， 特 别 是 在 使 用 无 人 机 （ UAV） 或 其 他 特 殊 设 备 （ 如 激 光 ） 获取 数 据 时 。
近 年 来 ， 越 来 越 多 的 工 作 集 中 在 使 用 合 成 数 据 来 训 练 和 评 估 计 算 机 视觉 算 法 ， 以 避 免 上 述 挑 战 。 这 些 数 据 可 以 通 过 使 用 现 代 视 频 游 戏 或3D 游 戏 引 擎 生 成 。 这 允 许 提 取 大 量 准 确 的 地 面 实 况 数 据 ， 例 如 边 界框 、 ， 分 割 图 、 深 度 图 或 相 机 姿 态 ， 因 为 这 些 信 息 在 渲 染 数 据 的 虚 拟世 界 中 已 经 可 用 。 特 别 是 虚 幻 引 擎 （ UE） 被 许 多 框 架 用 于 生 成 合 成数 据 集 。 虽 然 UE 最 初 设 计 用 于 开 发 视 频 游 戏 ， 它 已 经 发 展 成 为 现 代3D 渲 染 引 擎 ， 用 于 许 多 应 用 领 域 ， 如 计 算 机 视 觉 、 建 筑 或 汽 车 工 业 。UE 允 许 以 超 过 60 Hz 的 帧 速 率 对 虚 拟 环 境 进 行 实 时 渲 染 。 通 过 使 用现 代 渲 染 技 术 ， 如 基 于 物 理 的 渲 染 （ PBR） 和 光 线 跟 踪 ， 可 以 合 成 真
实 照 片 的 数 据 集 。 通 过 其 广 泛 的 应 用 程 序 编 程 接 口 （ API） ， UE 使 用户 能 够 在 仿 真 运 行 时 动 态 修 改 虚 拟 环 境 并 提 取 所 需 的 元 数 据 。 同 时 ，集 成 开 发 环 境 （ IDE） 与 UE Marketplace 相 结 合 ， 使 用 户 能 够 轻 松 设
计 和 创 建 符 合 其 需 求 的 定 制 环 境 。我 们 的 主 要 贡 献 是 为 虚 幻 引 擎 提 供 了 一 个 插 件 ， 该 插 件 在 开 源 许 可 证下 可 供 社 区 使 用 。 该 插 件 允 许 计 算 机 视 觉 研 究 人 员 从 使 用 虚 幻 编 辑 器创 建 的 3D 场 景 中 导 出 地 面 真 实 数 据 集 。 我 们 的 方 法 允 许 导 出 大 量 常用 图 像 和 元 数 据 ， 3D 重 建 和 其 他 任 务 。 与 流 行 的 方 法 UnrealCV 不 同 ，我 们 还 可 以 使 用 任 意 对 象 自 动 丰 富 现 有 场 景 ， 同 时 能 够 指 定 允 许 的 放置 区 域 ， 例 如 确 保 车 辆 仅 位 于 街 道 上 。 此 外 ， 我 们 的 方 法 通 过 虚 幻 编辑 器 界 面 高 度 可 验 证 ， 并 且 易 于 扩 展 。 我 们 认 为 ， 随 着 虚 幻 引 擎 非 常
流 行 并 不 断 改 进 ， 例 如 通 过 光 线 跟 踪 实 现 更 真 实 的 照 明 和 反 射 ， 该 插件 的 益 处 将 在 未 来 增 长 。2 相 关 工 作在 计 算 机 视 觉 界 ， 存 在 许 多 依 赖 虚 幻 引 擎 生 成 合 成 数 据 集 的 框 架 。 其中 包 括 Microsoft AirSim、 CAR Learning to Act（ CARLA） 、 UnrealCV和 NVIDIA 深 度 学 习 数 据 集 合 成 器 （ NDDS） ， 在 本 工 作 范 围 内 对 不同 的 计 算 机 视 觉 任 务 进 行 了 评 估 ， 即 目 标 检 测 和 视 觉 同 时 定 位 与 映 射
（ V-SLAM） ， 我 们 将 重 点 讨 论 如 何 有 效 地 生 成 这 些 任 务 所 需 的 数 据 ，使 用 现 有 框 架 。 虽 然 基 于 深 度 学 习 的 检 测 方 法 通 常 是 基 于 RGB 图 像以 及 表 示 为 2D 边 界 框 的 地 面 真 相 注 释 进 行 训 练 的 V-SLAM 算 法 需 要RGB-D 数 据 以 及 相 机 姿 态 。
AirSim 和 CARLA 是 开 源 模 拟 环 境 ， 允 许 使 用 无 人 机 或 汽 车 模 拟 数 据采 集 。 它 们 提 供 了 许 多 传 感 器 ， 这 些 传 感 器 通 常 连 接 在 车 辆 上 ， 可 用于 从 虚 拟 场 景 中 提 取 各 种 类 型 的 信 息 。 这 包 括 语 义 分 割 、 ， 深 度 图 和法 线 地 图 中 编 码 的 表 面 方 向 。 虽 然 AirSim 只 允 许 将 传 感 器 连 接 到 机载 或 地 面 车 辆 上 ， 并 且 一 次 只 支 持 一 个 客 户 端 ， 但 CARLA 也 支 持 将所 需 传 感 器 连 接 到 车 辆 以 外 的 物 体 上 的 可 能 性 ， 并 支 持 在 场 景 中 同 时使 用 多 个 独 立 的 客 户 端 。 然 而 ， 由 于 这 两 种 框 架 的 主 要 焦 点 都 是 无 人机 或 汽 车 的 使 用 ， 因 此 虚 拟 环 境 通 常 由 室 外 场 景 组 成 ， 传 感 器 的 移 动受 限 于 传 感 器 所 连 接 的 客 户 端 类 型 固 有 的 自 由 度 （ DoF） 。 这 并 不 总
是 允 许 自 由 移 动 相 机 或 模 拟 适 当 的 场 景 ， 使 得 AirSim 和 CARLA 的 使用 对 于 创 建 用 于 广 泛 计 算 机 视 觉 任 务 的 通 用 合 成 数 据 集 的 任 务 来 说不 切 实 际 。 此 外 ， 迄 今 为 止 ， 这 两 种 框 架 都 不 允 许 自 动 提 取 感 兴 趣 对象 周 围 的 边 界 框 或 提 取 相 机 姿 态 ， 这 又 是 用 于 训 练 和 评 估 用 于 目 标 检测 和 V-SLAM 的 算 法 所 需 要 的 。与 此 相 反 ， UnrealCV 是 一 个 框 架 ， 它 不 关 注 特 定 的 用 例 ， 而 是 允 许 用户 从 UE 内 的 虚 拟 场 景 中 提 取 图 像 数 据 以 及 相 应 的 元 数 据 。 除 了AirSim 和 CARLA 可 以 提 取 的 数 据 ， 即 图 像 、 分 割 图 、 深 度 图 和 法 线
图 ， UnrealCV 框 架 还 允 许 用 户 提 取 场 景 对 象 的 信 息 ， 例 如 它 们 的 位 置 。由 于 UnrealCV 专 注 于 合 成 数 据 生 成 的 更 一 般 的 用 例 ， 用 户 不 受 限 制将 传 感 器 连 接 到 特 定 场 景 对 象 。 然 而 ， API 仅 提 供 有 限 的 界 面 ， 对 用
户 隐 藏 了 许 多 功 能 ， 例 如 具 有 2D 边 界 框 的 感 兴 趣 的 注 释 对 象 。NVIDIA 深 度 学 习 数 据 集 合 成 器 的 重 点 更 多 地 在 于 生 成 用 于 对 象 检测 和 对 象 姿 态 估 计 任 务 的 大 型 合 成 数 据 集 。 顾 名 思 义 ， NDDS 的 主 要重 点 是 深 度 学 习 领 域 的 方 法 ， 因 此 该 框 架 特 别 提 供 了 改 进 深 度 神 经 网络 训 练 的 功 能 。 例 如 ， NDDS 提 供 了 一 个 插 件 ， 实 现 了 域 随 机 化 ， 允许 在 场 景 中 随 机 分 散 对 象 。 与 前 面 提 到 的 框 架 不 同 ， NDDS 允 许 人 们提 取 场 景 对 象 周 围 的 2D 和 3D 边 界 框 。 然 而 ， NDDS 仅 为 UE 提 供了 一 个 插 件 ， 并 将 生 成 的 数 据 直 接 保 存 到 存 储 在 系 统 上 的 文 件 中 。 另
一 方 面 ， AirSim、 CARLA 和 UnrealCV 框 架 ， 结 合 客 户 端 -服 务 器 架 构 ，利 用 虚 幻 引 擎 API 的 插 件 机 制 来 生 成 图 像 和 元 数 据 并 将 其 传 递 给 独立 于 UE 运 行 的 程 序 。原 则 上 ， 所 有 提 到 的 框 架 都 可 以 创 建 类 似 的 数 据 。 主 要 区 别 在 于 可 用性 和 可 扩 展 性 。 我 们 的 架 构 允 许 实 现 任 意 类 型 的 数 据 ， 并 可 以 导 出 为文 本 、 图 像 或 二 进 制 数 据 。 我 们 的 方 法 仅 包 含 一 个 用 于 虚 幻 引 擎 的 插件 ， 该 插 件 可 以 直 接 访 问 虚 幻 引 擎 中 的 所 有 数 据 ， 并 且 不 需 要 单 独 的客 户 端 。 此 外 ， 我 们 的 方 法 不 需 要 编 程 知 识 ， 因 为 与 虚 幻 引 擎 的 交 互
基 于 图 形 用 户 界 面 。3 方 法
这 项 工 作 的 目 标 是 提 供 一 个 工 具 包 ， 该 工 具 包 允 许 从 虚 拟 场 景 中 创 建合 成 数 据 集 ， 以 及 各 种 不 同 的 元 数 据 （ 即 地 面 真 实 ） ， 以 支 持 广 泛 的计 算 机 视 觉 任 务 。 我 们 的 方 法 基 于 虚 幻 引 擎 v4.22。 使 用 虚 幻 引 擎 的一 个 重 要 优 点 是 它 具 有 灵 活 的 架 构 ， 我 们 的 工 具 包 是 作 为 这 样 一 个UE 插 件 实 现 的 ， 因 此 可 以 通 过 Unreal API 完 全 访 问 UE， 该 API 允许 与 虚 拟 场 景 及 其 所 有 对 象 和 元 数 据 进 行 交 互 。我 们 的 方 法 概 述 如 图 1 所 示 。 我 们 使 用 模 块 化 架 构 ， 可 以 根 据 需 要 通过 新 功 能 进 行 扩 展 。 该 插 件 的 基 础 是 数 据 生 成 器 ， 可 以 生 成 图 像 数 据
和 元 数 据 。 我 们 为 RGB 图 像 、 深 度 图 、 语 义 分 割 提 供 图 像 数 据 生 成器 ， 实 例 分 割 和 法 线 映 射 （ 见 图 2） 。 可 以 方 便 地 实 现 和 添 加 更 多 的数 据 生 成 器 。 除 了 图 像 数 据 外 ， 该 插 件 还 提 供 元 数 据 。 这 包 括 相 机 参数 、 相 机 位 置 和 方 向 、 线 性 对 象 边 界 框 以 及 关 于 对 象 类 的 信 息 。 图 3显 示 了 两 种 不 同 处 理 对 象 可 见 性 的 可 用 边 界 框 模 式 。 第 一 种 方 法 创 建的 大 框 不 处 理 由 于 半 透 明 物 体 （ 如 栅 栏 和 植 被 ） 而 部 分 遮 挡 区 域 的 区域 ， 而 第 二 种 方 法 使 用 形 态 学 闭 合 算 子 创 建 非 常 精 细 的 边 界 框 ， 分 辨率 ， 甚 至 每 个 图 像 的 随 机 分 辨 率 选 项 都 可 以 在 用 户 界 面 中 进 行 配 置 。所 有 数 据 都 以 字 节 数 组 的 形 式 存 储 ， 以 便 能 够 以 简 单 统 一 的 方 式 处 理
数 据 。 对 于 数 据 导 出 ， 我 们 提 供 了 一 种 基 于 文 件 的 数 据 处 理 方 法 以 及一 种 基 于 流 的 数 据 实 时 处 理 方 法 。 数 据 通 常 用 于 性 能 和 精 度 基 准 数 据集 或 训 练 数 据 集 。 基 于 流 的 输 出 可 用 于 将 虚 幻 场 景 连 接 到 实 时 处 理 ，如 实 时 对 象 检 测 器 ， 同 时 在 场 景 中 自 由 导 航 。 开 箱 即 用 的 插 件 支 持 通
过 HTTP 和 简 单 的 TCP 协 议 进 行 实 时 数 据 传 输 ， 允 许 用 户 轻 松 地 以各 种 编 程 语 言 接 收 实 时 流 数 据 。 为 了 控 制 虚 拟 摄 像 机 ， 支 持 两 种 不 同的 模 式 。 在 第 一 种 模 式 下 ， 跟 随 场 景 中 的 活 动 查 看 器 ， 从 而 允 许 在 模拟 过 程 中 直 接 控 制 生 成 的 输 出 数 据 。 在 第 二 种 模 式 中 ， 遵 循 虚 拟 路 径 ，该 路 径 可 以 预 先 手 动 指 定 为 场 景 中 的 样 条 线 。 这 允 许 模 拟 例 如 虚 拟 汽车 驾 驶 或 无 人 机 飞 行 。 此 外 ， 我 们 的 工 具 包 支 持 多 个 摄 像 头 ， 因 此 允许 创 建 例 如 ， 立 体 或 三 焦 点 相 机 设 置 。 所 有 图 像 和 元 数 据 都 以 所 有 相机 的 特 定 帧 速 率 同 步 获 得 。
该 工 具 包 可 以 通 过 几 个 UI 元 素 进 行 详 细 配 置 ， 这 些 元 素 直 接 显 示 在虚 幻 编 辑 器 中 。 该 编 辑 器 还 允 许 将 对 象 和 角 色 放 置 在 虚 拟 世 界 中 。 使用 UI 进 行 编 辑 是 直 观 的 ， 只 需 要 很 少 的 引 擎 技 术 知 识 。
3.1 场 景 生 成 器要 生 成 数 据 ， 插 件 需 要 一 个 3D 场 景 。 用 户 可 以 使 用 现 有 场 景 ， 也 可以 使 用 虚 幻 编 辑 器 创 建 自 己 的 场 景 。 生 成 数 据 通 常 需 要 至 少 修 改 场 景 ，例 如 ， 放 置 其 他 对 象 。 由 于 创 建 或 扩 展 场 景 可 能 非 常 耗 时 ， 因 此 通 常使 用 生 成 器 来 简 化 该 过 程 。 在 这 项 工 作 中 ， 一 种 混 合 方 法 实 现 。 假 设一 个 景 观 （ 场 景 的 地 板 ） ， 可 以 选 择 已 经 放 置 的 对 象 ， 例 如 植 物 或 房屋 。
景 观 可 以 自 动 填 充 从 列 表 中 随 机 选 择 的 对 象 。 对 象 只 能 放 置 在 可 确 认的 特 定 区 域 。 也 可 以 使 用 不 同 的 对 象 随 机 化 多 个 场 景 部 分 。
对 象 的 随 机 分 布 采 用 改 进 版 的 泊 松 圆 盘 采 样 算 法 。 泊 松 圆 盘 采 样 生 成一 个 相 互 之 间 具 有 固 定 最 小 距 离 的 随 机 点 列 表 。 采 样 算 法 的 点 分 布 已更 改 ， 以 便 为 每 个 点 设 置 不 同 的 最 小 距 离 。 这 个 最 小 距 离 取 决 于 对 象的 大 小 ， 稍 后 由 演 员 放 置 在 这 个 点 上 。 这 确 保 了 对 象 不 会 在 物 理 上 重叠 。此 外 ， 还 可 以 使 用 对 象 过 滤 器 指 定 未 放 置 对 象 的 对 象 。 因 此 ， 可 以 对分 布 进 行 配 置 ， 例 如 ， 车 辆 仅 放 置 在 道 路 上 。 还 可 以 确 定 对 象 是 否 与场 景 中 的 现 有 对 象 重 叠 。 这 将 防 止 将 车 辆 放 置 到 已 经 是 场 景 一 部 分 的
房 屋 或 树 中 。 还 可 以 启 用 对 象 的 随 机 旋 转 和 随 机 材 质 。 此 外 ， 还 可 以手 动 添 加 特 定 对 象 。
4 实 验
为 了 显 示 使 用 UnrealGT 生 成 的 数 据 的 效 用 和 质 量 ， 评 估 了 两 个 典 型但 非 常 不 同 的 计 算 机 视 觉 任 务 。 首 先 ， 我 们 评 估 了 用 于 生 成 数 据 中 的车 辆 检 测 任 务 的 众 所 周 知 的 CNN 对 象 检 测 框 架 的 训 练 。 此 任 务 需 要二 维 对 象 边 界 框 。 其 次 ， 我 们 应 用 了 一 种 视 觉 SLAM 方 法 ， 该 方 法 用于 机 器 人 路 径 重 建 和 场 景 映 射 。 该 任 务 需 要 深 度 信 息 和 相 机 姿 态 数 据 ，以 用 于 应 用 和 评 估 。4.1 使 用 CNN 进 行 目 标 检 测
对 于 这 个 实 验 ， 我 们 训 练 了 一 个 流 行 的 实 时 对 象 检 测 框 架 YOLOv3，用 于 对 使 用 UnrealGT 生 成 的 数 据 进 行 车 辆 检 测 。 我 们 的 目 标 不 是 要达 到 最 先 进 的 车 辆 识 别 精 度 ， 而 是 要 证 明 使 用 UnrealGT 创 建 的 数 据适 合 于 CNN 学 习 有 意 义 的 概 念 并 帮 助 目 标 检 测 。数 据 生 成 。 为 了 创 建 合 适 的 训 练 数 据 ， 我 们 依 赖 于 虚 幻 市 场 中 的 模 块化 邻 居 包 （ 见 图 5a） 中 流 行 的 虚 幻 演 示 场 景 。 该 场 景 描 绘 了 一 个 郊 区社 区 ， 包 含 多 辆 车 。 然 而 ， 可 用 车 辆 的 总 体 数 量 和 视 觉 多 样 性 非 常 有限 。 现 有 车 辆 的 细 节 水 平 很 低 。 因 此 ， 我 们 移 除 了 现 有 车 辆 ， 并 使 用
虚 幻 GT 的 场 景 生 成 器 随 机 放 置 新 车 辆 。 CARLA 项 目 中 的 车 辆 模 型用 于 放 置 。 这 些 车 辆 模 型 包 括 不 同 类 型 的 来 自 不 同 制 造 商 的 汽 车 、 跑车 、 轿 车 、 ， SUV 和 面 包 车 （ 见 图 4a） 。 模 型 与 真 实 车 辆 相 对 应 ， 并以 非 常 高 的 细 节 进 行 建 模 。 每 辆 放 置 的 车 辆 都 会 随 机 选 择 一 种 具 有 不
同 表 面 特 性 和 颜 色 的 材 料 。 由 此 产 生 的 视 觉 变 化 和 车 辆 的 随 机 放 置 有助 于 网 络 学 习 一 种 可 以 概 括 为 测 试 的 表 示 设 置 UnrealGT 中 配 置 了 一个 图 像 生 成 器 和 元 数 据 生 成 器 ， 用 于 提 取 摄 像 机 图 像 和 车 辆 边 界 框 。图 像 生 成 器 用 于 512× 512 和 1920× 1280 像 素 分 辨 率 之 间 的 图 像 ， 以实 现 不 同 的 比 例 和 纵 横 比 。 两 个 生 成 器 同 步 并 配 置 为 每 秒 生 成 12 幅图 像 ， 同 时 两 个 发 生 器 所 连 接 的 演 员 沿 着 预 先 确 定 的 摄 像 机 路 径 移 动 。两 条 路 径 被 配 置 为 覆 盖 整 个 场 景 ， 一 条 用 于 训 练 ， 另 一 条 用 于 测 试 （ 见图 5b） 。 在 训 练 和 测 试 数 据 生 成 之 间 ， 新 车 辆 随 机 放 置 ， 以 避 免 两 组之 间 的 重 叠 。 最 终 数 据 集 包 含 1438 张 训 练 图 像 和 440 张 测 试 图 像 。
训 练 YOLOv3 探 测 器 被 配 置 为 416× 416 像 素 的 统 一 输 入 分 辨 率 。 所有 生 成 的 图 像 都 按 此 输 入 大 小 缩 放 。 YOLOv3-416 模 型 的 标 准 参 数 用于 训 练 。 唯 一 的 修 改 是 对 单 个 车 辆 类 别 的 限 制 。 该 模 型 以 64 的 批 量大 小 进 行 4000 次 迭 代 训 练 。
后 果 我 们 通 过 建 立 的 平 均 精 度 度 量 （ mAP） 来 评 估 结 果 模 型 的 质 量 。因 此 ， 如 果 与 地 面 真 值 框 的 交 集 大 于 0.5， 我 们 认 为 检 测 是 正 确 的 。表 1 给 出 了 我 们 的 评 估 结 果 。 当 在 生 成 的 UnrealGT 测 试 集 上 进 行 评估 时 ， 训 练 的 模 型 实 现 了 75.3%的 mAP。 与 其 他 数 据 集 相 比 ， 如 COCO
和 PascalVOC， 其 中 相 似 的 模 型 实 现 约 55%的 mAP， 这 是 一 个 相 对 较高 的 值 。 其 主 要 原 因 是 UnrealGT 数 据 集 中 的 视 觉 多 样 性 仍 然 有 限 。例 如 ， 整 个 数 据 集 的 照 明 条 件 相 似 且 几 乎 理 想 。 这 使 得 检 测 任 务 比 在不 同 的 真 实 世 界 数 据 集 上 更 容 易 。 UnrealGT 测 试 集 的 几 个 检 测 结 果如 图 6 所 示 。 错 误 的 主 要 来 源 是 对 远 处 或 严 重 遮 挡 车 辆 的 检 测 缺 失 。
我 们 进 一 步 评 估 了 我 们 的 UnrealGT 训 练 模 型 在 真 实 世 界 数 据 中 的 应
用 。 当 在 斯 坦 福 汽 车 测 试 数 据 集 上 进 行 评 估 时 ， 该 模 型 实 现 了79.9%mAP 的 类 似 精 度 。 斯 坦 福 汽 车 数 据 集 包 含 8041 张 几 乎 格 式 化 的车 辆 图 像 。 因 此 ， 图 像 质 量 和 物 体 大 小 非 常 适 合 检 测 任 务 ， 并 且 外 观与 UnrealGT 中 的 车 辆 相 似 ， 这 些 车 辆 靠 近 摄 像 头 。 UnrealGT 训 练 数据 中 未 包 含 的 更 多 奇 异 车 辆 类 型 被 检 测 到 ， 表 明 该 模 型 已 经 学 习 了 车辆 的 通 用 表 示 。 因 此 ， 该 模 型 成 功 地 弥 补 了 模 拟 数 据 和 真 实 数 据 之 间的 较 小 区 域 差 距 。最 后 ， 该 模 型 在 KITTI 数 据 集 上 进 行 了 评 估 ， 该 数 据 集 包 含 从 驾 驶
车 辆 角 度 记 录 的 街 景 。 得 到 的 mAP 低 得 多 ， 为 32.7%。 KITTI 的 定 性结 果 如 图 7 所 示 ， 与 UnrealGT 相 比 ， 影 响 mAP 的 主 要 问 题 是 距 离 更远 的 车 辆 以 及 更 复 杂 和 不 同 的 照 明 条 件 。 因 此 ， 这 一 更 大 的 领 域 差 距需 要 额 外 的 解 决 方 案 ， 直 接 传 输 模 型 的 价 值 有 限 。 减 少 这 一 差 距 的 一个 有 希 望 的 途 径 是 增 加 模 拟 训 练 数 据 的 视 觉 多 样 性 。 这 可 能 是 通 过 依赖 于 虚 幻 引 擎 中 或 通 过 虚 幻 市 场 提 供 的 附 加 功 能 和 功 能 （ 例 如 在 创 建训 练 数 据 时 改 变 照 明 条 件 的 方 法 ） 来 完 成 。
4.2 视 觉 SLAM视 觉 SLAM 是 一 个 典 型 的 机 器 人 和 计 算 机 视 觉 任 务 ， 它 描 述 了 同 时 定位 传 感 器 和 从 视 觉 传 感 器 映 射 环 境 的 问 题 。 ORB-SLAM2 是 一 种 流 行的 实 时 方 法 ， 使 用 ORB 图 像 特 征 进 行 跟 踪 和 映 射 。 它 支 持 使 用 单 眼 、立 体 或 RGBD 相 机 。ORB-SLAM2 只 是 多 种 方 法 中 的 一 种 ， 但 其 目 的 是 证 明 可 以 使 用 合 成数 据 评 估 不 同 传 感 器 的 概 念 。 为 了 进 行 评 估 ， 我 们 使 用 了 标 准 邻 居 场
景 ， 其 中 定 义 了 虚 拟 摄 像 机 路 径 以 对 图 像 进 行 采 样 （ 见 图 8a） 。 图 像以 752× 480 像 素 的 分 辨 率 以 10 fps 进 行 渲 染 。 然 而 ， 为 了 避 免 混 叠效 果 ， 图 像 以 1504× 960 渲 染 ， 然 后 向 下 采 样 到 752× 480 像 素 。UnrealGT 自 动 提 供 内 部 相 机 参 数 ， 可 以 直 接 提 取 。为 了 进 行 评 估 ， 我 们 将 计 算 的 轨 迹 与 地 面 真 实 轨 迹 进 行 了 比 较 ， 我 们
使 用 了 RMSE 度 量 ， 即 以 米 为 单 位 的 绝 对 定 位 误 差 （ APE） ，ORB-SLAM2 的 作 者 也 使 用 了 该 度 量 ， 在 不 同 的 子 数 据 集 上 ， 单 眼 传感 器 的 误 差 在 6 至 50 米 之 间 ， 立 体 传 感 器 的 误 差 为 0.5 至 10 米 。 相比 之 下 ， ORB-SLAM2 在 创 建 的 合 成 数 据 集 上 获 得 了 可 比 甚 至 更 好 的结 果 。 这 里 的 原 因 是 传 感 器 得 到 了 完 美 的 校 准 ， RGBD 传 感 器 给 出 了地 面 真 实 深 度 值 研 究 人 员 可 以 轻 松 地 生 成 更 具 挑 战 性 的 数 据 集 ， 减 少平 移 和 更 强 的 旋 转 ， 或 者 为 传 感 器 数 据 添 加 噪 声 。
5 结 论本 文 介 绍 了 虚 幻 引 擎 的 插 件 虚 幻 GT， 它 允 许 从 使 用 虚 幻 编 辑 器 创 建的 3D场 景 导 出 地 面 真 实 数 据 集 。 最 典 型 的 图 像 和 元 数 据 类 型 ， 如 RGB图 像 、 深 度 图 、 语 义 分 割 、 法 线 图 、 相 机 姿 态 、 固 有 相 机 参 数 、 对 象边 界 框 等 ， 都 是 开 箱 即 用 支 持 的 虚 幻 GT： 使 用 虚 幻 引 擎 生 成 地 面 真相 数 据 集 ， 该 体 系 结 构 设 计 为 将 来 易 于 扩 展 。 如 我 们 的 实 验 所 示 ， 这
些 数 据 对 于 训 练 神 经 网 络 （ 如 物 体 探 测 器 ） 或 评 估 三 维 重 建 方 法 （ 如V-SLAM） 非 常 有 用 ， 在 这 种 方 法 中 ， 准 确 的 地 面 真 相 通 常 很 难 获 取 ，但 对 评 估 至 关 重 要 。 该 插 件 包 含 大 量 配 置 选 项 ， 还 能 够 用 新 物 体 随 机丰 富 现 有 场 景 可 以 仅 限 于 语 义 相 关 的 领 域 。 我 们 的 插 件 2 在 Github上 获 得 MIT 许 可 证 。 我 们 认 为 社 区 将 从 我 们 的 贡 献 中 受 益 ， 特 别 是考 虑 到 虚 幻 引 擎 不 断 改 进 的 功 能 以 及 大 量 场 景 、 资 产 和 插 件 扩 展 ， 例如 模 拟 白 天 和 夜 晚 或 季 节 ， 可 以 直 接 从 虚 幻 引 擎 市 场 下 载 。
|
|
