3DGS+端到端：智能驾驶仿真场景自动化构建新路径

▍文章来源于康谋

01 背景与挑战

随着国标新规持续推进，以及端到端智能驾驶算法对长尾场景、闭环验证和高保真传感器仿真的要求提高，行业正在加速从“数据驱动的道路测试”走向“真实场景驱动的数字孪生测试”。面对复杂城区、快速路、匝道及交叉口等典型道路环境，如何快速构建可复用、可编辑、可验证的仿真场景，已成为智能驾驶研发效率的关键变量。

真实采集、神经重建与仿真合成数据的核心能力对比

传统数字孪生场景构建通常依赖路网绘制、三维资产建模、材质贴图、交通设施配置与资产摆放等工序。对于大范围、细节丰富的真实道路复刻，这类人工流程往往以周甚至月为周期，并且场景质量高度依赖建模资源与人工经验。相关研究也指出，自动驾驶三维仿真环境的构建本身是一项复杂任务，自动化场景建模正是降低成本、缩短周期的重要方向。

基于3D Gaussian Splatting（3DGS）的场景重建技术，为这一问题提供了新路径。3DGS 以大量具备位置、形状、颜色和不透明度属性的三维高斯体表达环境，通过快速可见性计算实现高效训练和实时渲染。

康谋 World Extractor将这项能力整合为面向自动驾驶仿真的线性工具链：从真实道路数据采集出发，经由数据管理、动态目标处理、场景提取与神经训练，最快可在天级周期内生成可用于仿真的 3DGS 地图。

02 适用场景与数据要求

World Extractor适用场景

World Extractor典型适用场景示意

当研发团队需要将真实道路快速还原为可测试的虚拟环境时，World Extractor 尤其适用。例如，针对特定事故多发路口、城区复杂无保护左转、连续匝道汇入、施工路段或高频测试路线，团队不必从零开始手工搭建场景，而可直接基于实采数据生成高保真数字孪生地图。

这种方式也特别适合端到端算法的闭环验证。端到端模型对环境细节、视角变化、交通参与者行为和传感器输入分布更为敏感；仅依赖抽象化地图或规则化资产，往往难以充分覆盖真实世界的纹理、遮挡、道路边界与视觉背景。将真实路采场景转化为可重放、可扩展的仿真环境，可帮助研发团队在更可控的条件下开展 AEB、LKA、变道、超车等功能与算法验证。

World Extractor数据要求

World Extractor 的输入来自即插即用的数采系统，核心是完整、同步且准确标定的多传感器数据。采集车辆需要记录多目相机图像、激光雷达点云以及自车运动信息，其中自车运动可由 GNSS、IMU、里程计等提供高精度轨迹与姿态参考。

World Extractor输入数据采集要求示意

相机数据负责提供道路纹理、交通标志、建筑立面、光照与视觉语义；激光雷达点云用于补充空间几何结构；连续且可靠的车辆轨迹，则是多帧数据对齐、位姿恢复与大范围重建的基础。为获得更稳定的重建质量，建议在连续道路路段采集，确保传感器时间同步、内外参标定准确、曝光相对稳定，并覆盖目标场景中的典型道路结构与光照条件。

03 3DGS 地图生成流程

World Extractor 将“采集—管理—处理—训练”串联为一条可追溯的自动化流程。

World Extractor Pipeline

相机自动标注

首先，原始传感器数据进入数据版本控制系统。团队可按版本记录筛选数据，并利用自动化标签检索与优化能力，快速定位具有目标道路结构、交通事件或驾驶行为的数据片段。

随后，自动标注工具执行动态目标处理：识别车辆、行人、非机动车等运动目标，生成动态掩码，并尽可能在训练早期移除这些动态干扰。这能够减少运动物体在跨帧观测中的不一致性，降低其对静态环境重建的影响；同时，系统可提取对应 Scenario，为后续仿真回放与编辑建立关联。

动态掩码生成

在神经训练阶段，World Extractor 结合 NeRF 思路与 3DGS 表达，对静态场景进行高效建模。面向大范围道路场景，系统采用基于 BEV 的动态二维栅格分块机制：先依据预设聚类半径与位姿数量，对相机轨迹进行聚类；再将聚类结果离散投影至鸟瞰网格，形成初始训练区块。

系统通过凸包与最近邻归属补全网格覆盖，并对区块边界进行膨胀，使相邻区块保留必要重叠区域。在重叠带内，依据点到相邻区块边界的距离比例进行平滑插值。这样既能保持大场景衔接的连续性，又能将训练和资源消耗控制在更易管理的范围内。

区块化处理

04 生成效果与应用价值

最终生成的 3DGS 地图可导入康谋 aiSim 高保真仿真器，并结合 OpenSCENARIO 快速还原实采场景。在同一数字孪生环境中，研发人员可以配置相机、激光雷达等不同传感器，复现或扩展变道、超车、紧急制动等交通行为，并对 AEB、LKA 等算法能力进行验证。

多传感器仿真

3DGS 地图的光照变化

基于 World Extractor 生成的地图能够支持极端视角下的新视图合成与光照变化，使原本一次性的真实路采数据，转化为可持续复用的仿真资产。对于需要兼顾真实性、构建效率与大规模验证能力的智能驾驶团队而言，World Extractor 让“从真实世界提取场景、在虚拟世界验证算法”的闭环更快落地。