雷达线雕仪

激光雷达介绍 　　激光雷达 　　LiDAR(LightLaser Deteetion and Ranging)，是激光探测及测距系统的简称。 　　用激光器作为辐射源的雷达。激光雷达是激光技术与雷达技术相结合的产物 。由发射机 、天线 、接收机 、跟踪架及信息处理等部分组成。发射机是各种形式的激光器，如二氧化碳激光器、掺钕钇铝石榴石激光器、半导体激光器及波长可调谐的固体激光器等；天线是光学望远镜；接收机采用各种形式的光电探测器，如光电倍增管、半导体光电二极管、雪崩光电二极管、红外和可见光多元探测器件等。激光雷达采用脉冲或连续波2种工作方式，探测方法分直接探测与外差探测。 激光雷达的历史 　　自从1839年由Daguerre和Niepce拍摄第一张像片以来，利用像片制作像片平面图(X、Y)技术一直沿用至今。到了1901年荷兰人Fourcade发明了摄影测量的立体观测技术，使得从二维像片可以获取地面三维数据(X、Y、Z)成为可能。一百年以来，立体摄影测量仍然是获取地面三维数据最精确和最可靠的技术，是国家基本比例尺地形图测绘的重要技术。 　　随着科学技术的发展和计算机及高新技术的广泛应用，数字立体摄影测量也逐渐发展和成熟起来，并且相应的软件和数字立体摄影测量工作站已在生产部门普及。但是摄影测量的工作流程基本上没有太大的变化，如航空摄影-摄影处理-地面测量(空中三角测量)-立体测量-制图(DLG、DTM、GIS及其他)的模式基本没有大的变化。这种生产模式的周期太长，以致于不适应当前信息社会的需要，也不能满足&ldquo 数字地球&rdquo 对测绘的要求。 　　LIDAR测绘技术空载激光扫瞄技术的发展，源自1970年，美国航天局（NASA）的研发。因全球定位系统（Global PositioningSystem、GPS）及惯性导航系统（InertialInertiNavigation System、INS）的发展，使精确的即时定位及姿态付诸实现。德国Stuttgart大学于1988到1993年间将激光扫描技术与即时定位定姿系统结合，形成空载激光扫描仪（Ackermann-19）。之后，空载激光扫瞄仪随即发展相当快速，约从1995年开始商业化，目前已有10多家厂商生产空载激光扫瞄仪，可选择的型号超过30种（Baltsavias-1999）。研发空载激光扫瞄仪的原始目的是观测多重反射（multiple echoes）的观测值，测出地表及树顶的高度模型。由于其高度自动化及精确的观测成果用空载激光扫瞄仪为主要的DTM生产工具。 　　激光扫描方法不仅是军内获取三维地理信息的主要途径，而且通过该途径获取的数据成果也被广泛应用于资源勘探、城市规划、农业开发、水利工程、土地利用、环境监测、交通通讯、防震减灾及国家重点建设项目等方面，为国民经济、社会发展和科学研究提供了极为重要的原始资料，并取得了显著的经济效益，展示出良好的应用前景。低机载LIDAR地面三维数据获取方法与传统的测量方法相比，具有生产数据外业成本低及后处理成本的优点。目前，广大用户急需低成本、高密集、快速度、高精度的数字高程数据或数字表面数据，机载LIDAR技术正好满足这个需求，因而它成为各种测量应用中深受欢迎的一个高新技术。 　　快速获取高精度的数字高程数据或数字表面数据是机载LIDAR技术在许多领域的广泛应用的前提，因此，开展机载LIDAR数据精度的研究具有非常重要的理论价值和现实意义。在这一背景下，国内外学者对提高机载LIDAR数据精度做了大量研究。 　　由于飞行作业是激光雷达航测成图的第一道工序，它为后续内业数据处理提供直接起算数据。按照测量误差原理和制定&ldquo 规范&rdquo 的基本原则，都要求前一工序的成果所包含的误差，对后一工序的影响应为最小。因此，通过研究机载激光雷达作业流程，优化设计作业方案来提高数据质量，是非常有意义的。 LiDAR的基本原理 　　LIDAR是一种集激光，全球定位系统(GPS)和惯性导航系统(INS)三种技术与一身的系统，用于获得数据并生成精确的DEM。这三种技术的结合，可以高度准确地定位激光束打在物体上的光斑。它又分为目前日臻成熟的用于获得地面数字高程模型(DEM)的地形LIDAR系统和已经成熟应用的用于获得水下DEM的水文LIDAR系统，这两种系统的共同特点都是利用激光进行探测和测量，这也正是LIDAR一词的英文原译，即：LIght Detection And Ranging - LIDAR。 　　激光本身具有非常精确的测距能力，其测距精度可达几个厘米，而LIDAR系统的精确度除了激光本身因素，还取决于激光、GPS及惯性测量单元(IMU)三者同步等内在因素。随着商用GPS及IMU的发展，通过LIDAR从移动平台上（如在飞机上）获得高精度的数据已经成为可能并被广泛应用。 　　LIDAR系统包括一个单束窄带激光器和一个接收系统。激光器产生并发射一束光脉冲，打在物体上并反射回来，最终被接收器所接收。接收器准确地测量光脉冲从发射到被反射回的传播时间。因为光脉冲以光速传播，所以接收器总会在下一个脉冲发出之前收到收到前一个被反射回的脉冲。鉴于光速是已知的，传播时间即可被转换为对距离的测量。结合激光器的高度，激光扫描角度，从GPS得到的激光器的位置和从INS得到的激光发射方向，就可以准确地计算出每一个地面光斑的座标X，Y，Z。激光束发射的频率可以从每秒几个脉冲到每秒几万个脉冲。举例而言，一个频率为每秒一万次脉冲的系统，接收器将会在一分钟内记录六十万个点。一般而言，LIDAR系统的地面光斑间距在2-4m不等。 激光雷达的妙用 　　激光雷达是一种工作在从红外到紫外光谱段的雷达系统，其原理和构造与激光测距仪极为相似。科学家把利用激光脉冲进行探测的称为脉冲激光雷达，把利用连续波激光束进行探测的称为连续波激光雷达。激光雷达的作用是能精确测量目标位置（距离和角度）、运动状态（速度、振动和姿态）和形状，探测、识别、分辨和跟踪目标。经过多年努力，科学家们已研制出火控激光雷达、侦测激光雷达、导弹制导激光雷达、靶场测量激光雷达、导航激光雷达等。 　　直升机障碍物规避激光雷达 　　目前，激光雷达在低空飞行直升机障碍物规避、化学／生物战剂探测和水下目标探测等方面已进入实用阶段，其它军事应用研究亦日趋成熟。 　　直升机在进行低空巡逻飞行时，极易与地面小山或建筑物相撞。为此，研制能规避地面障碍物的直升机机载雷达是人们梦寐以求的愿望。目前，这种雷达已在美国、德国和法国获得了成功。 　　美国研制的直升机超低空飞行障碍规避系统，使用固体激光二极管发射机和旋转全息扫描器可检测直升机前很宽的空域，地面障碍物信息实时显示在机载平视显示器或头盔显示器上，为安全飞行起了很大的保障作用。 　　德国戴姆勒.奔驰宇航公司研制成功的Hel??las障碍探测激光雷达更高一筹，它是一种固体1．54微米成像激光雷达，视场为32度× 32度，能探测300―500米距离内直径1厘米粗的电线，将装在新型EC―135和EC―155直升机上。 　　法国达索电子公司和英国马可尼公司联合研制的吊舱载CLARA激光雷达具有多种功能，采用CO2激光器。不但能探测标杆和电缆之类的障碍，还具有地形跟踪、目标测距和指示、活动目标指示等功能，适用于飞机和直升机。 　　化学战剂探测激光雷达 　　传统的化学战剂探测装置由士兵肩负，一边探测一边前进，探测速度慢，且士兵容易中毒。 　　俄罗斯研制成功的KDKhr―1N远距离地面激光毒气报警系统，可以实时地远距离探测化学毒剂攻击，确定毒剂气溶胶云的斜距、中心厚度、离地高度、中心角坐标以及毒剂相关参数，并可通过无线电通道或有线线路向部队自动控制系统发出报警信号，比传统探测前进了一大步。 　　德国研制成功的VTB―1型遥测化学战剂传感器技术更加先进，它使用两台9― 11微米、可在40个频率上调节的连续波CO2激光器，利用微分吸收光谱学原理遥测化学战剂，既安全又准确。 　　机载海洋激光雷达 　　传统的水中目标探测装置是声纳。根据声波的发射和接收方式，声纳可分为主动式和被动式，可对水中目标进行警戒、搜索、定性和跟踪。但它体积很大，重量一般在600公斤以上，有的甚至达几十吨重。而激光雷达是利用机载蓝绿激光器发射和接收设备，通过发射大功率窄脉冲激光，探测海面下目标并进行分类，既简便，精度又高。 　　迄今，机载海洋激光雷达已发展了三代产品。20世纪90年代研制成功的第三代系统以第二代系统为基础，增加了GPS定位和定高功能，系统与自动导航仪接口，实现了航线和高度的自动控制。 　　成像激光雷达可水下探物 　　美国诺斯罗普公司为美国国防高级研究计划局研制的ALARMS机载水雷探测系统，具有自动、实时检测功能和三维定位能力，定位分辨率高，可以24小时工作，采用卵形扫描方式探测水下可疑目标。 美国卡曼航天公司研制成功的机载水下成像激光雷达，最大特点是可对水下目标成像。由于成像激光雷达的每个激光脉冲覆盖面积大，因此其搜索效率远远高于非成像激光雷达。另外，成像激光雷达可以显示水下目标的形状等特征，更加便于识别目标，这已是成像激光雷达的一大优势。 History and Vision History Velodyne's expertise with laser distance measurement started by participating in the 2005 Grand Challenge sponsored by the Defense Advanced Research Projects Agency (DARPA).A race for autonomous vehicles across the Mojave desert, DARPA's goal was to stimulate autonomous vehicle technology development for both military and commercial applications. Velodyne founders Dave and Bruce Hall entered the competition as Team DAD (Digital Audio Drive), traveling 6.2 miles in the first event and 25 miles in the second. The team developed technology for visualizing the environment, first using a dual video camera approach and later developing the laser-based system that laid the foundation for Velodyne's current products. The first Velodyne LIDAR scanner was about 30 inches in diameter and weighed close to 100 lbs. Choosing to commercialize the LIDAR scanner instead of competing in subsequent challenge events, Velodyne was able to dramatically reduce the sensor's size and weight while also improving performance. Velodyne's HDL-64E sensor was the primary means of terrain map construction and obstacle detection for all the top DARPA Urban Challenge teams. Vision Velodyne's ultimate vision for its LIDAR technology is simple: to save lives. We see the day where this sensor technology is deployed on every vehicle in the world. While traditional LIDAR sensors have relied on fixed electronics and rotating mirrors to deliver a 3-D terrain map, the rotation of an entire array of multiple fixed lasers has proven to be a quantum leap forward in sensing technology. This accomplishment has been termed a "disruptive event" by car safety research groups, who see the technology as a reason to rethink all that we know about vehicle sensors and the safety systems they enable. Until the day when we help eliminate automobile-relatedcasualties, Velodyne plans to market its unique LIDAR technology wherever sophisticated 3-D environment understanding is required: robotics, map capture, surveying, autonomous navigation, automotive safety ystems, and industrial applications. 激光雷达介绍 　　激光雷达 　　LiDAR(LightLaser Deteetion and Ranging)，是激光探测及测距系统的简称。 　　用激光器作为辐射源的雷达。激光雷达是激光技术与雷达技术相结合的产物 。由发射机 、天线 、接收机 、跟踪架及信息处理等部分组成。发射机是各种形式的激光器，如二氧化碳激光器、掺钕钇铝石榴石激光器、半导体激光器及波长可调谐的固体激光器等；天线是光学望远镜；接收机采用各种形式的光电探测器，如光电倍增管、半导体光电二极管、雪崩光电二极管、红外和可见光多元探测器件等。激光雷达采用脉冲或连续波2种工作方式，探测方法分直接探测与外差探测。 激光雷达的历史 　　自从1839年由Daguerre和Niepce拍摄第一张像片以来，利用像片制作像片平面图(X、Y)技术一直沿用至今。到了1901年荷兰人Fourcade发明了摄影测量的立体观测技术，使得从二维像片可以获取地面三维数据(X、Y、Z)成为可能。一百年以来，立体摄影测量仍然是获取地面三维数据最精确和最可靠的技术，是国家基本比例尺地形图测绘的重要技术。 　　随着科学技术的发展和计算机及高新技术的广泛应用，数字立体摄影测量也逐渐发展和成熟起来，并且相应的软件和数字立体摄影测量工作站已在生产部门普及。但是摄影测量的工作流程基本上没有太大的变化，如航空摄影-摄影处理-地面测量(空中三角测量)-立体测量-制图(DLG、DTM、GIS及其他)的模式基本没有大的变化。这种生产模式的周期太长，以致于不适应当前信息社会的需要，也不能满足&ldquo 数字地球&rdquo 对测绘的要求。 　　LIDAR测绘技术空载激光扫瞄技术的发展，源自1970年，美国航天局（NASA）的研发。因全球定位系统（Global PositioningSystem、GPS）及惯性导航系统（InertialInertiNavigation System、INS）的发展，使精确的即时定位及姿态付诸实现。德国Stuttgart大学于1988到1993年间将激光扫描技术与即时定位定姿系统结合，形成空载激光扫描仪（Ackermann-19）。之后，空载激光扫瞄仪随即发展相当快速，约从1995年开始商业化，目前已有10多家厂商生产空载激光扫瞄仪，可选择的型号超过30种（Baltsavias-1999）。研发空载激光扫瞄仪的原始目的是观测多重反射（multiple echoes）的观测值，测出地表及树顶的高度模型。由于其高度自动化及精确的观测成果用空载激光扫瞄仪为主要的DTM生产工具。 　　激光扫描方法不仅是军内获取三维地理信息的主要途径，而且通过该途径获取的数据成果也被广泛应用于资源勘探、城市规划、农业开发、水利工程、土地利用、环境监测、交通通讯、防震减灾及国家重点建设项目等方面，为国民经济、社会发展和科学研究提供了极为重要的原始资料，并取得了显著的经济效益，展示出良好的应用前景。低机载LIDAR地面三维数据获取方法与传统的测量方法相比，具有生产数据外业成本低及后处理成本的优点。目前，广大用户急需低成本、高密集、快速度、高精度的数字高程数据或数字表面数据，机载LIDAR技术正好满足这个需求，因而它成为各种测量应用中深受欢迎的一个高新技术。 　　快速获取高精度的数字高程数据或数字表面数据是机载LIDAR技术在许多领域的广泛应用的前提，因此，开展机载LIDAR数据精度的研究具有非常重要的理论价值和现实意义。在这一背景下，国内外学者对提高机载LIDAR数据精度做了大量研究。 　　由于飞行作业是激光雷达航测成图的第一道工序，它为后续内业数据处理提供直接起算数据。按照测量误差原理和制定&ldquo 规范&rdquo 的基本原则，都要求前一工序的成果所包含的误差，对后一工序的影响应为最小。因此，通过研究机载激光雷达作业流程，优化设计作业方案来提高数据质量，是非常有意义的。 LiDAR的基本原理 　　LIDAR是一种集激光，全球定位系统(GPS)和惯性导航系统(INS)三种技术与一身的系统，用于获得数据并生成精确的DEM。这三种技术的结合，可以高度准确地定位激光束打在物体上的光斑。它又分为目前日臻成熟的用于获得地面数字高程模型(DEM)的地形LIDAR系统和已经成熟应用的用于获得水下DEM的水文LIDAR系统，这两种系统的共同特点都是利用激光进行探测和测量，这也正是LIDAR一词的英文原译，即：LIght Detection And Ranging - LIDAR。 　　激光本身具有非常精确的测距能力，其测距精度可达几个厘米，而LIDAR系统的精确度除了激光本身因素，还取决于激光、GPS及惯性测量单元(IMU)三者同步等内在因素。随着商用GPS及IMU的发展，通过LIDAR从移动平台上（如在飞机上）获得高精度的数据已经成为可能并被广泛应用。 　　LIDAR系统包括一个单束窄带激光器和一个接收系统。激光器产生并发射一束光脉冲，打在物体上并反射回来，最终被接收器所接收。接收器准确地测量光脉冲从发射到被反射回的传播时间。因为光脉冲以光速传播，所以接收器总会在下一个脉冲发出之前收到收到前一个被反射回的脉冲。鉴于光速是已知的，传播时间即可被转换为对距离的测量。结合激光器的高度，激光扫描角度，从GPS得到的激光器的位置和从INS得到的激光发射方向，就可以准确地计算出每一个地面光斑的座标X，Y，Z。激光束发射的频率可以从每秒几个脉冲到每秒几万个脉冲。举例而言，一个频率为每秒一万次脉冲的系统，接收器将会在一分钟内记录六十万个点。一般而言，LIDAR系统的地面光斑间距在2-4m不等。 激光雷达的妙用 　　激光雷达是一种工作在从红外到紫外光谱段的雷达系统，其原理和构造与激光测距仪极为相似。科学家把利用激光脉冲进行探测的称为脉冲激光雷达，把利用连续波激光束进行探测的称为连续波激光雷达。激光雷达的作用是能精确测量目标位置（距离和角度）、运动状态（速度、振动和姿态）和形状，探测、识别、分辨和跟踪目标。经过多年努力，科学家们已研制出火控激光雷达、侦测激光雷达、导弹制导激光雷达、靶场测量激光雷达、导航激光雷达等。 　　直升机障碍物规避激光雷达 　　目前，激光雷达在低空飞行直升机障碍物规避、化学／生物战剂探测和水下目标探测等方面已进入实用阶段，其它军事应用研究亦日趋成熟。 　　直升机在进行低空巡逻飞行时，极易与地面小山或建筑物相撞。为此，研制能规避地面障碍物的直升机机载雷达是人们梦寐以求的愿望。目前，这种雷达已在美国、德国和法国获得了成功。 　　美国研制的直升机超低空飞行障碍规避系统，使用固体激光二极管发射机和旋转全息扫描器可检测直升机前很宽的空域，地面障碍物信息实时显示在机载平视显示器或头盔显示器上，为安全飞行起了很大的保障作用。 　　德国戴姆勒.奔驰宇航公司研制成功的Hel??las障碍探测激光雷达更高一筹，它是一种固体1．54微米成像激光雷达，视场为32度× 32度，能探测300―500米距离内直径1厘米粗的电线，将装在新型EC―135和EC―155直升机上。 　　法国达索电子公司和英国马可尼公司联合研制的吊舱载CLARA激光雷达具有多种功能，采用CO2激光器。不但能探测标杆和电缆之类的障碍，还具有地形跟踪、目标测距和指示、活动目标指示等功能，适用于飞机和直升机。 　　化学战剂探测激光雷达 　　传统的化学战剂探测装置由士兵肩负，一边探测一边前进，探测速度慢，且士兵容易中毒。 　　俄罗斯研制成功的KDKhr―1N远距离地面激光毒气报警系统，可以实时地远距离探测化学毒剂攻击，确定毒剂气溶胶云的斜距、中心厚度、离地高度、中心角坐标以及毒剂相关参数，并可通过无线电通道或有线线路向部队自动控制系统发出报警信号，比传统探测前进了一大步。 　　德国研制成功的VTB―1型遥测化学战剂传感器技术更加先进，它使用两台9― 11微米、可在40个频率上调节的连续波CO2激光器，利用微分吸收光谱学原理遥测化学战剂，既安全又准确。 　　机载海洋激光雷达 　　传统的水中目标探测装置是声纳。根据声波的发射和接收方式，声纳可分为主动式和被动式，可对水中目标进行警戒、搜索、定性和跟踪。但它体积很大，重量一般在600公斤以上，有的甚至达几十吨重。而激光雷达是利用机载蓝绿激光器发射和接收设备，通过发射大功率窄脉冲激光，探测海面下目标并进行分类，既简便，精度又高。 　　迄今，机载海洋激光雷达已发展了三代

6月12日下午，中科院合肥技术转移中心在安徽循环经济技术工程院向省交通厅、省交通投资集团、高速公路总公司、省公路勘察设计院、皖通科技等相关部门领导和专家，专题报告高速公路团雾全天候实时监测预警系统核心装备激光雷达能见度仪。 　　随着我国经济的持续增长，高速公路建设得到空前的发展。截止2009年，我国高速公路通车总里程已达到6.03万公里，居世界第二位。然而高速公路上的交通事故也极大地威胁着人民的生命财产安全，影响着社会经济的和谐发展。特别是高速公路上的突发性团雾引起多车连续追尾、群死群伤重特大交通事故，在近几年来尤为突出。 　　安徽循环经济技术工程院依托中科院安徽光机所，在多年科研积淀的基础上，瞄准公共安全的重大需求，在国内开发成功的首台激光雷达能见度仪，是为交通行业安全生产和人民群众的安全出行，提供了有效技术支撑的重大突破。该仪器的能见度监控范围可达50米到5000米，可实现每1～10分钟输出一组能见度值 可与高速公路现有的通讯系统实现无线和有线方式互联互通，达到全天候实时监测、预警。具有体积小、精度高、结构紧凑、使用方便，性价比高的特点。 　　会上，交通行业与会各位领导和专家对激光雷达能见度仪的技术先进性、应用价值和前景给予了高度评价。省交通厅有关部门负责人指出，激光雷达能见度仪及安全预警系统的研制成功，对我省乃至全国交通行业产生重大影响，希望该仪器能为省交通厅正在联合气象、安检、公安等部门计划筹建的交通安全气象监测预警系统和应急指挥中心作出贡献。他表示，将尽快协调有关单位在安徽省多雾、团雾易发地带的路段进行实地试验运行，为高速公路团雾全天候实时监测预警系统建立和应用，提供经验。 　　省科技厅任鸣副厅长指出，一项科技成果是否具有生命力取决于市场的需求和社会的需求。激光雷达能见度仪正是满足了高速公路安全预警系统的重大需求，具有非常的应用前景。希望安徽循环经济技术工程院加强与交通行业有关部门的配合，做好产业化的前期工作，并紧紧抓住合肥公共安全产业发展的良好机遇，强力推进该项高科技成果的产业化，省科技厅将与交通厅共同推进这项具有自主知识产权和全省自主创新特色的好项目，为道路交通安全提供有力科技支撑。 　　(安徽省科技厅)

作为浙大博士毕业生，鲍芳琳用一篇 Nature 封面论文开创了热雷达的先河，为人工智能安上了一双白天夜晚均能看见的“眼睛”。（来源：Nature）这得从他和所在团队提出的新型机器感知方法——HADAR （heat-assisted detection and ranging）说起。HADAR 的中文名是“高光谱热雷达”，也可以简称为“热雷达”。这是一种新颖的传感范式，与现有的微波雷达（radar）、激光雷达（LiDAR）、声纳（sonar）等有着根本性不同。微波雷达、激光雷达与声纳都是主动式传感，它们会主动向环境发射信号。热雷达是被动式传感，会和相机一样“默默”地接收信号。课题组之所以将它取名为雷达，是希望有朝一日热雷达可以像微波雷达和激光雷达一样，在各行各业中取得广泛应用。图 | 鲍芳琳（来源：鲍芳琳）从人类在夜晚没有视力说起当前，人类正处于人工智能蓬勃发展的时代。机器人外卖员、扫地机器人、自动驾驶汽车等已经开始走进人类生活。预计在未来十年，将会有数以百万记的机器人和人类共同生活在地球上。届时，机器人和人类的社会互动将达到一个空前的强度。对于这些机器人来说，它们必须借助传感器来“看”周围的环境，并在获得机器视觉之后做出自主决策。在当前的智能机器市场上，以谷歌以及特斯拉的无人驾驶汽车为例，它们主要采用相机以及激光雷达来获得机器视觉。相机结合机器学习算法的方法，在白天的确表现优异，但是一到夜晚就没法工作。事实上即使在白天，相机也不能很好地区分真正的行人与海报上的人像。另一方面，激光雷达以其高精度而著称，在机器视觉领域有着不可替代的作用。然而，激光雷达只适合单机使用，难以扩展到多人工智能的场景中。当多台激光雷达放在一起，就会出现信号串扰，并对人眼造成安全隐患。由此可见对于即将来临的机器人时代来说，显然需要新一代的传感器，以便不分昼夜地支持多人工智能场景。当然，作为人类的我们早已习惯了白天与黑夜的二分世界。在黑夜看不见东西也是一个再自然不过的现象。那么，想要造出一个不分昼夜的传感器，先得回过头去思考：为什么人的眼睛在黑夜没有视觉能力？这其实是生物演化的结果。几百万年前，人类跟其他陆地动物一样都还是远古海洋生物。海洋几乎只在可见光区域透明。从那时起，人的眼睛就一直围绕着可见光演化。然而，地球一直在自转，始终只有一面朝着太阳。背对太阳的另一面没有可见光，于是就形成了黑夜。而人工智能既没有生物演化，也无需考虑海洋的透明窗口。那么，人工智能的机器视觉可以做到没有昼夜之分吗？鲍芳琳说：“我们的热雷达工作给出了肯定的答案，YES！”在这项工作中，第一步便是利用红外热辐射作为传感信号源。事实上，我们周围的所有物体诸如地面、房子、人体等，都会不分昼夜地发出红外热辐射。利用红外热辐射进行成像，具有一定的夜视能力。然而，热成像有着非常典型的“鬼影效应”。如下图，热成像之下的人脸没有细节，更像个“鬼魂”。图 | 鲍芳琳的热成像照片（来源：鲍芳琳）其实热成像下的其他物体也都一样：缺乏纹理、对比度低，远不如白天我们眼见的景象。那么，“鬼影效应”是怎么产生的？假如能从热成像中恢复纹理细节，使热成像达到类似于白天景象的效果，就能得到真正的夜视吗？鲍芳琳说：“我们的热雷达工作正是解释并克服了‘鬼影效应’，并实现了真正的夜视。热雷达可以在黑夜看到类比于白天的景象，在此基础之上实现不分昼夜的机器感知。”由于热雷达是被动式传感，所以非常适合用于多人工智能场景，有望为未来的人机交互时代提供传感支持，并有望为机器视觉以及人工智能带来突破。可以说，热雷达重新定义了低可见度环境下的机器感知，即将为低可见度下的机器视觉以及成像技术带来革命。审稿人也评价称：“这篇论文将会吸引全球学者来探索热雷达，并将热雷达的框架应用到低可见度情况的各个任务场合。”同时，热雷达毫无疑问将提升自动驾驶以及其他机器辅助技术。随着热雷达的进一步优化，它将开辟一个全被动的、对物理环境有着灵敏传感的机器感知技术。由此可见，热雷达有望重塑我们的未来，它会让我们更加接近一个人机交互的社会。在那里，机器可以通过高灵敏传感为我们提供既关键、又安全的信息。（来源：Nature）具体来说：热雷达最直接的应用就是作为机器人以及无人驾驶汽车的传感器。热雷达采取完全被动式的传感方式，可以感知材料、温度、几何纹理等多维度的物理信息，还能在黑夜看到类似白天的景象，这将为机器人提供全新的机器视觉支持。热雷达也能用于野生动物监测。野生动物大多只在夜间活动。热雷达的夜视能力以及灵敏的温度感知能力，将帮助我们更好地监测珍稀野生动物。热雷达也可用于智能医疗，更好地在夜间监测患者的行为、状态。热雷达还能用于国防领域，由于其具备被动传感的特征，故其具有良好的隐蔽性。日前，相关论文以《热辅助探测和测距》（Heat-assisted detection and ranging）为题发在 Nature，并成为当期封面论文。鲍芳琳是第一作者，美国普渡大学祖宾雅各（Zubin Jacob）担任通讯作者[1]。图 | 相关论文（来源：Nature）“本来也不存在路，路都是人走出来的”事实上，这篇发表于 Nature 封面的论文，一开始起源于鲍芳琳用来练手的一个小课题。2019 年 5 月，为了拓宽个人研究方向，鲍芳琳来到美国普渡大学 Zubin Jacob 组从事博后研究，原本他打算做一个量子多体物理与张量网络的课题。然而等鲍芳琳真正来到普渡大学，Zubin 却并没有成功申请到张量网络的项目。于是，他们打算先花两三个月时间，拿个小课题练练手。一边积累机器学习与张量网络方面的知识，一边申请新的项目。对于这个小课题，Zubin 给鲍芳琳设定了一些相对浅显的内容：用机器学习对红外光谱进行材料分类。不过，Zubin 却给这个小课题取了一个响亮的名字——HADAR（heat-assisted detection and ranging），这便是此次研究的前身。但是，Zubin 和鲍芳琳都没有红外遥感方面的基础。等鲍芳琳掌握了张量网络、神经网络与机器学习方面的必要知识后，鲍芳琳又开始了解领域内的现状，结果发现对于红外光谱进行材料分类这种工作，早在十年前就被做完了，因此并不能作为新的课题。但是，鲍芳琳觉得 HADAR 这个名字有点意思。利用红外辐射进行被动式传感，相比激光雷达而言也有其独特的优势。在 HADAR 这个单词里，D 跟 R 分别代表目标探测与距离测量。如果不像激光雷达那样主动发射信号出去，又该如何测量目标物体的距离呢？最直接的做法就是模拟人眼，用双目视差法测量距离。然而，鲍芳琳发现热成像受到“鬼影效应”影响，普遍都缺乏纹理，这时就很难采用双目视差的方法，这也是热成像传感领域的一个瓶颈。那么，为什么热相机拍照片无法像普通相机那样富含纹理呢？“鬼影效应”又是怎么产生的？以及能否克服“鬼影效应”，实现热红外的目标探测与距离测量？这些问题让鲍芳琳来了兴趣，也让他看到了真正适合 HADAR 这个名字的、完全不同于当初小课题的研究思路与内容。找到新的研究思路之后，他很快就想通了“鬼影效应”的机制与克服办法，由此提出了“TeX 视觉”的概念，这也是热雷达的核心原理。与此同时，Zubin 也极大肯定了鲍芳琳的想法。综合一些其他想法，再加上组里的前期研究基础，他们很快就在一年之内申请到 4 个项目。热雷达项目，则由其中一个 DARPA 项目支持。获得支持之后，他们分析了热雷达的理论极限，也研究了一些基础问题，比如热雷达需要多少个光子才能分辨目标物体的材料、以及测量目标物体的距离等。另一方面，他们也开始着手使用仿真模拟的方法，去证实热雷达的可行性，以及通过户外实验去实现热雷达的原始模型。（来源：Nature）后来，他们把上述研究整理为论文并投稿到 Nature，尽管得到了非常正面的评价，期刊编辑以及审稿人都表示这项工作很有意思。不过，鲍芳琳和导师以及同事基本都是物理或光学背景出身，而审稿人全部来自计算机科学和机器视觉领域。不同背景学者的关注点很不一样。审稿人在点赞理论框架的同时，也希望鲍芳琳等人补充更多的模拟与实验，真正把热雷达做出来，并与现有的激光雷达等进行对比。在长达两年的审稿过程中，鲍芳琳自学了一些计算机图形的基础知识。他还带着几个研究生开发出一个基于光线追迹的计算机图形仿真软件，生成了世界上唯一一个公开的红外高光谱成像的数据库（the HADAR database）。利用这个数据库，他们开始训练机器学习，并对热雷达理论进行数值验证。同时，利用 DARPA 项目组提供的更加优质的实验数据，鲍芳琳开发了一系列算法，在实验上实现了热雷达的所有效果，包括 TeX 视觉、类比于白天的夜视能力、显著优于传统热成像的目标探测与距离测量等。热雷达是一个新概念，也是一个跨领域的工作。虽然目前只是一篇期刊论文，但是鲍芳琳感觉其工作量堪比一个博士学位论文。短短 6 页的 Nature 正文背后，有着将近 100 页的方法与补充材料，涵盖光学信息理论、机器学习算法、实验细节、与当前机器视觉的对比分析等内容。审稿意见以及修改材料也长达 143 页。原本 3 个月的小课题做了 4 年才有了这第一个阶段性成果。鲍芳琳说：“论文合作者之一的 Vaneet Aggarwal 教授曾问我，这么长时间没出成果，你不怕以后找不到工作（教职）吗？说实话，我也担心。不过权衡之下，我觉得‘做好一件事情’比‘做过多件事情’更重要，所以一直在坚持。”而鲍芳琳和同事踏实的论证工作，也得到了审稿人多次的赞赏。与此同时，漫长的研究也并未让鲍芳琳过于担心找工作一事。因为在此前，他曾在其他项目上发表过一些论文。但是，由于热雷达过于前沿，他也曾遇到过一些困惑。其表示：“我本科学的是物理，博士学的是光学。在做热雷达之前，我主要研究量子物理。”在做热雷达之后，曾经有很长一段时间，组里新来的同学问他从事什么研究方向，很多次他都答不上来。尽管热雷达涉及到多个学科的知识，但它本身是一个新生事物，不曾被明确定义过。直到研究临近结束，他才慢慢释然。“本来也不存在路，路都是人走出来的。也许若干年后，热雷达本身就成了一个研究方向。”鲍芳琳总结称。另据悉，在论文审稿期间，鲍芳琳也迎来了女儿 Louisa 的出生。组里同学开玩笑说，她的名字应该叫 HADAR。他继续说道：“这项工作能坚持到最后，离不开亲人们默默的支持。”未来，鲍芳琳会持续推动热雷达相关的研究，直到它像激光雷达等一样在社会上取得广泛的应用。这其实是一条漫长的路，前文提到了鲍芳琳的热成像照片。那么，它对应的热雷达图像在哪里？目前依旧无法得到。这是因为，目前的热雷达仍然处于概念验证的阶段，还有很多理论需要通过进一步的实验加以验证，也有更多应用值得去探索。与此同时，热雷达所使用的高光谱热相机非常笨重、迟缓和昂贵，急需得到进一步的突破。“我计划回国之后在这些方面继续开展研究工作，希望 2024 年初能回到祖国怀抱，我未来的研究方向也会继续围绕量子物理与人工智能开展，热雷达便是其中的一个方向。”他说。参考资料：1.Bao, F., Wang, X., Sureshbabu, S.H. et al. Heat-assisted detection and ranging. Nature 619, 743–748 （2023）. https://doi.org/10.1038/s41586-023-06174-6