方案摘要
方案下载应用领域 | 汽车及零部件 |
检测样本 | 智能联网/自动驾驶 |
检测项目 | |
参考标准 | 无 |
AD和ADAS系统需要在能代表真实世界的3D环境条件下,依靠闭环验证确保安全性和性能,然而由3D设计工程师手工构建的3D环境很难解决Sim2Real的差距并且在可扩展方面存在一定的局限性。为此康谋为您介绍神经重建如何打破限制,在自动驾驶模拟中的具体应用。
验证自动驾驶软件需要数百万公里的测试。这不仅意味着系统开发周期长,而且系统的复杂度也会不断增加,同时,大规模的实车测试也会耗费巨量的资源并且可能会面临未知的安全问题。aiSim这样的虚拟仿真工具可以减轻真实世界测试的负担。
AD和ADAS系统依靠闭环验证来确保安全性和性能。然而,实现闭环评估需要一个能够准确代表真实世界场景的3D环境。虽然这些3D环境可以由3D设计工程师手工构建,但这种方案很难解决Sim2Real的差距并且在可扩展方面存在一定的局限性。为此,本文为您介绍神经重建如何打破限制,在自动驾驶模拟中的具体应用。
神经渲染可以利用深度学习技术来缓解这个问题,它可以从一个新的视角上逼真地渲染静态(和动态)环境。当然这种方法也存在一定的优劣点:
(1)高保真的仿真质量:神经渲染可以产生几乎和现实无异的场景,增强现实感。
(2)数据驱动和可扩展:这种方法具有可扩展性,使其适用于实时应用(如3D高斯泼溅)。
(1)分布外的对象:神经渲染很难将分布外(即以前未见过的)的对象插入 3D 环境中。
(2)伪影对动态物体的影响:伪影可能会影响动态物体的外观。
(3)几何不一致:在深度预测中,可能会出现几何不一致。
目前的生成模型能够创建高度逼真的图像和视频,但它们在几个方面存在不足,例如:
(1)仅 2D 信息:这些模型不提供 3D 信息,仅在 2D 图像空间中操作。
(2)射影几何的空白:更多内容请参见https://arxiv.org/abs/2311.17138
(3)有限的传感器模态:这些模型不能用于生成其他传感器模态(例如,激光雷达)。
为了解决这些限制,aiSim5提供了一种混合方案。在成熟的基于物理的渲染方案中集成最前沿的神经重建技术,使我们能够在任意位置虚拟地插入动态对象,调整环境条件,并渲染以前未见过的相机视角。
通过这种方式,我们能实现以下的功能:
(1)添加具有逼真光照和环境光遮蔽的动态对象。
(2)模拟如雨、雪、雾等环境效果,以创建更多样化的模拟场景。
(1)从任意相机视角生成精确的RGB图像、深度图和激光雷达强度图(如下图所示,第一行为GT)。
(2)未来的工作将包括语义分割掩码和雷达仿真。
(1)模拟各种虚拟相机设置,包括不同的相机的安装和定向以及模型。
(2)下图展示了模拟的前置鱼眼(左)、前置广角(中)和前置长距(右)相机的渲染效果,这些图像是通过一个没有直接使用前置相机数据训练的模型生产的,也就是说,这些视角并没有专门采集数据进行训练。
以上就是关于神经重建在自动驾驶模拟中具体应用的内容。
康谋分享 | 汽车仿真与AI的结合应用
康谋分享 | 在基于场景的AD/ADAS验证过程中,识别挑战性场景!
康谋技术 | 高效同步与处理:ADTF流服务在自动驾驶数采中的应用
相关产品
德思特SAF手持式频谱分析仪16-26GHz J0GSAP5301
德思特Vaunix紧凑型迷你射频移相器TS-LPS-123
德思特Vaunix紧凑型迷你射频移相器TS-LPS-802
德思特Vaunix紧凑型迷你射频移相器TS-LPS-402
德思特Vaunix紧凑型迷你射频移相器LPS-202
德思特Vaunix紧凑型迷你射频和微波开关LSW-802P4T-2-12
德思特Vaunix紧凑型迷你射频和微波开关LSW-802P4T-1-6
德思特Vaunix紧凑型迷你射频和微波开关LSW-802P4T
德思特Vaunix紧凑型迷你射频和微波开关LSW-802PDT
德思特Vaunix紧凑型迷你射频和微波开关LSW-602P4T
德思特Vaunix紧凑型迷你射频和微波开关LSW-602PDT
德思特Vaunix紧凑型迷你射频和微波开关LSW-102P4T-75F
德思特Vaunix紧凑型迷你射频和微波开关LSW-102PDT-75F
德思特Vaunix紧凑型迷你射频功分器TS-LPD-752-16-2Q
德思特Vaunix紧凑型迷你射频功分器TS-LPD-752-16
关注
拨打电话
留言咨询