三维成像

一、背景介绍：机器视觉可称为人工智能的“慧眼”，成像系统的标定又是机器视觉处理的重要环节之一，其标定精度与稳定性直接影响系统工作效率。在传统机器视觉与摄像测量标定领域，小孔透视模型仍存在高阶透镜畸变无法完备表征和多类复杂特殊成像系统不适用的问题。而基于光线的模型以成像系统聚焦状态下每个像素点均对应空间一条虚拟主光线为前提假设，通过确定所有像素点所对应光线方程的参数即可实现标定与成像表征，可避免对复杂成像系统的结构分析与建模。基于该光线模型，研究院相关课题组发展了各类特殊条纹结构光三维测量方法与系统，实验证明光线模型可通用于多类复杂成像系统的高精度测量，是校准非针孔透视成像系统的有效模型，可作为透视模型的补充。二、光线模型Baker等人最早提出了一种可表征任意成像系统的光线模型[1]，认为图像是像素的离散集合，并以一组虚拟的感光元件“光素”表示每个像素与某像素相关联的空间虚拟光线间的完整几何特性、辐射特性和光学特性，如图1所示。因此，光线模型的标定即确定出所有像素点对应的光线方程，无需严格分析和构建成像系统的复杂光学成像模型，具备一定的便携性和通用性，从一定程度上也可避免镜头畸变的多项式近似表征引入的测量误差，为非小孔透视投影模型成像系统的表征提供了一种新的思路。图1 成像系统的光线模型示意图三、基于光线模型的条纹结构光三维测量在条纹结构光投影三维测量领域，光线模型一方面可作为三维重建的光线方案，用于表征大畸变镜头、光场相机、DMD投影机、MEMS投影机等多类特殊结构的成像与投影装置，可发展新的基于光线模型的条纹结构光三维测量方法与系统；另一方面，发掘光线模型在结构光测量中的优势，光线模型对克服投影与相机的非线性响应、大畸变镜头成像下提升三维重建精度具有优异的效果。3.1 Scheimpflug小视场远心结构光测量系统光线模型与三维测量课题组开发了小视场远心结构光测量系统，采用Scheimpflug结构设计确保公共景深覆盖，如图2所示。考虑到远心镜头属平行正交投影、Scheimpflug倾斜结构造成畸变模型非中心对称，因此，提出一种基于光线模型的非参数化广义标定方法[2]。系统中相机与投影机成像过程均采用光线模型表征，标定其像素与空间光线对应关系，计算光线交汇点坐标，实现三维重建。图3展示了系统实物图与五角硬币局部小区域的三维测量结果，测量精度为2 μm。图2 Scheimpflug小视场远心结构光测量系统图3 测量系统实物图与五角硬币局部的三维测量结果3.2光场相机的光线模型标定与主动光场三维测量课题组发展了基于主动条纹结构光照明的光场三维测量方法与系统。光场相机通过在传感平面前放置微透镜阵列，实现光线强度和方向的同时记录，由于存在微透镜加工误差、畸变像差、装配误差等复杂因素影响，光场相机完备表征与精密标定是个难题。课题组提出光线模型表征光场成像过程[3]，即将光场相机内部看作黑盒，直接建立像素m与所对应的物空间光线方程l的参数，如图4所示。并通过标定光场所有光线与投影条纹相位的映射关系实现被测为物体的高精度三维测量，考虑光场多角度记录特点，构建基于条纹调制度的数据筛选机制，实现了场景的高动态三维测量，如图5所示，黑色面板与反光金属可同时重建。图4 光场成像模型图5 主动光场高动态三维测量3.3 DMD投影机与双轴MEMS激光扫描投影机的光线模型标定与三维测量基于微机电系统（MEMS）激光扫描的投影机以小型化、大景深的优势被应用于条纹投影测量系统，如图6（a）所示。但由于其依赖激光点的双轴MEMS扫描投影图案，不依赖镜头成像，透视投影模型表征会存在一定误差。此外， DMD等依赖镜头成像的投影机，大光圈设计也会影响小孔透视投影模型的表征精度。对此，课题组采用光线模型表征投影机[4]，并提出了一种基于投影机光线模型的条纹投影三维测量系统标定方法，该方法根据双轴MEMS投影的正交相位对光线进行识别追踪，利用投影光线与相机构建的三角测量实现了三维重建。进一步发现：由于投影光线的相位一致性特性，光线模型可显著抑制系统非线性响应引起的测量误差，图6（b）展示了单目系统在3步相移条件下（未额外矫正非线性响应），分别使用透视投影模型与光线模型对石膏雕塑的三维重建结果，可见光线模型对非线性响应影响具有免疫性。图6 双轴MEMS激光扫描投影原理和石膏雕塑三维重建结果（3步相移，左图为透视投影模型，右图为光线模型）3.4单轴MEMS激光扫描投影机光线模型标定与三维测量单轴MEMS投影机将激光点扫描拓展为面扫描大幅提升了投影速率，可应用于动态测量。针对单轴MEMS投影机无透镜结构使得针孔模型不适用、单向投影无法提供正交相位特征点的问题，课题组提出一种基于等相位面模型的系统标定方法[5]，推导出了相机反向投影射线与该等相位面交点处的三维坐标值与相位值间新的映射函数，实现了快速三维重建。图7展示了使用高速相机搭建的单目测量系统和重建场景，投影采集速率为1000 frame/s，采用4步相移与雷码图相位展开，三维重建速率为90 frame/s。后续为适应更高速率测量应用，可将单目扩展为双目或多目系统，采用单帧解调相位和多极线约束相位展开等方法减少投影图像数量，提升三维测量速率。图7三维测量系统与动态重建场景3.5大畸变镜头成像的光线模型标定与三维测量针对传统低阶多项式不能完备表征大畸变镜头的问题，课题组采用光线模型表征大畸变镜头相机成像，并提出一种完全脱离对相机和投影机内参依赖（透视模型依赖相机与投影机内参）的光线与条纹相位映射的三维重建方法。通过直接标定相机光线与条纹相位的倒数多项式映射系数，避免了繁琐耗时的对应点搜索与光线插值操作。图8为装配4 mm广角镜头的光线标定结果与标准球三维测量结果，可见由于广角镜头畸变较大，光线模型较透视模型重建质量有所提升。图8 广角镜头光线标定与标准球三维测量数据的拟合误差分布（a）透视投影模型，（b）光线映射模型四、总结光线模型通过确定所有像素点所对应光线方程的参数实现标定与成像表征，从而避免了对复杂成像（投影）系统的结构分析与建模，解决了特殊条纹投影三维测量系统的标定与重建问题，同时在条纹投影三维测量的系统非线性相位误差抑制和精度提升上展示出优异性能。在结构光三维测量的未来发展中，可进一步扩展光线模型三维测量的方法与应用，提升测量精度、效率与通用性，解决各类特殊复杂场景中的应用测量问题。参考文献[1] Baker S, Nayar S K. A theory of catadioptric image formation[C]//Sixth International Conference on Computer Vision (IEEE Cat. No.98CH36271), January 7, 1998, Bombay, India. New York: IEEE Press, 1998: 35-42.[2] Yin Y K, Wang M, Gao B Z, et al. Fringe projection 3D microscopy with the general imaging model[J]. Optics Express, 2015, 23(5): 6846-6857.[3] Cai Z W, Liu X L, Peng X, et al. Ray calibration and phase mapping for structured-light-field 3D reconstruction[J]. Optics Express, 2018, 26(6): 7598-7613.[4] Yang Y, Miao Y P, Cai Z W, et al. A novel projector ray-model for 3D measurement in fringe projection profilometry[J]. Optics and Lasers in Engineering, 2022, 149: 106818.[5] Miao Y P, Yang Y, Hou Q Y, et al. High-efficiency 3D reconstruction with a uniaxial MEMS-based fringe projection profilometry[J]. Optics Express, 2021, 29(21): 34243-34257.课题组简介：本文作者：刘晓利 ，杨洋 ，喻菁 ，缪裕培 ，张小杰 ，彭翔 ，于起峰 ；深圳大学物理与光电工程学院深圳市智能光测与感知重点实验室。以于起峰院士领衔的深圳大学智能光测图像研究院主要研究方向包括大型结构变形与大尺度运动测量、超常光学测量与智能图像分析、计算成像与三维测量以及多传感器融合感知与控制等。

世博会徽标、招手的海宝、迎客的茶壶……在一个高2.8米、直径1.3米宛若水帘洞的圆柱体空间内，一件件上海世博会标志物栩栩如生地展现在人们眼前。没有观看角度的限制、无须佩戴特制眼镜，人们惊喜地体验到360度全景观看这些三维立体影像的璀璨感受。日前，由华东师大信息科学技术学院教授刘锦高课题组研发的“三维体扫描大型成像显示器”正式亮相，即将在世博会重大活动中使用。这一精准同步的光、机、电一体化高科技产品将引领人们感受真正的三维立体效果。 　　首创“旋转真三维”显示系统 　　真正的三维立体效果，是将物体的长度、宽度、深度(厚度)直观地进行再现。由于条件限制，多数三维立体效果在深度的展示上都有所欠缺，即使是观看3D电影，有时还是会受到观察角度的限制，无法完全享受身临其境之感。然而，华东师大研发的这套全新的三维体扫描电子系统的核心部件由数十枚32位CPU组成，它们的运算能力远胜一般的多核计算机。它将立体对象提取出不同的切面、切片进行显示，利用扫描在三维空间的体像素构成了立体图像，展示了一个最接近真实物体的立体画面。这套拥有水平与垂直视角的全角光场立体显示器，满足了水平视差与垂直视差的观看要求，再现人们观察世界的真实感受，并获得高亮璀璨的显示效果，从而带给人们质感的3D影像。 　　刘锦高课题组此次研制大型体扫描显示器仅用了短短几个月的时间，克服了一系列困难。目前，课题组已成功研制了一套大型显示系统及一套备份系统。显示器的首度公开亮相，标志着一种全新的大型立体显示方式的诞生。它突破了以往裸视三维立体显示技术(例如LCD、PDP技术等)需要借助二维平面来展现三维影像的瓶颈，通过对物体进行旋转扫描，将图像置于一个真实的立体空间，实现了真正意义上的三维立体显示。该研发工作得到了上海市科委的大力支持。 　　刘锦高表示，此套系统是我国自主研发的产品，属世界首例，拥有完全的自主知识产权。 　　探索计算机图形学新领域 　　“目前的计算机图形学主要基于平面光栅扫描理论。而这套新系统的研发为计算机图形学向三维体扫描方向的发展奠定了基础。”刘锦高告诉记者，三维体扫描大型成像显示器的研制成功，突破了传统计算机图形学理论，为图形扫描理论和技术的发展开辟了新的研究方向，并提供了有力的实例论证。 　　他表示，目前，体扫描计算机图形学还处于探索阶段，仍有许多问题需要进一步细化研究。“这对于我们科技工作者来说，意味着新的一轮挑战。” 　　力拓技术应用的崭新境界 　　这套显示系统在军事训练、医疗诊断、数据可视化、工程产品设计、景观建筑、视频游戏、虚拟现实、多媒体教学等方面具有广阔的应用前景。 　　“就以医疗诊断来说，我们通过CT、核磁共振获取的人体或器官扫描影像本来可以提供三维数据，但由于三维成像显示技术尚未成熟，目前只能以胶片或其他介质的二维形式来显示，需要有经验的医学专家才能判读，增加了诊断的难度。若将这些数据通过三维体扫描显示器来再现，就会有超乎想象的突破。再如，关于航天飞机的设计，我们可以在任何部件的设计改进之后马上显示其整体效果。”刘锦高如数家珍般给出不少例子。

市面绝大多数共聚焦显微镜采用点扫描式激光共聚焦技术，成像速度较慢，难以满足活细胞动态观测、大视野快速扫描等成像需求。长光辰英的S3000转盘共聚焦显微镜采用三条纹转盘共聚焦成像技术，配合电动Z轴快速扫描，将成像速度提高至少二十倍。同时采用LED面光源激发光线更均匀，光毒性、光漂白性大大降低，适合连续观测。作为超快荧光三维成像的革新者，长光辰英的成像产品为活细胞，细胞生物学、微生物学、发育生物学、神经生物学及植物学等领域研究提供快速三维荧光成像的有力工具。推荐产品 S3000超快三维荧光成像系统S3000 超快三维荧光成像系统 (qq.com) PRECI SCS-F荧光单细胞分选仪PRECI SCS 微生物单细胞分选仪 (qq.com) RAColony菌落原位多表型检测与挑取工作站RAcolony 菌落原位多表型检测与挑取工作站 (qq.com) SC-catcher单细胞光镊操纵与分选系统SC-catcher单细胞光镊操纵与分选系统 (qq.com)应用案例Daphnia活体内纳米塑料颗粒排出过程的动态成像Daphnia吃到肠道内的纳米塑料颗粒会产生红色荧光，用共聚焦模式进行拍摄随着Daphnia肠道蠕动，纳米塑料颗粒排出的全部过程。此动图由10min的实际时间缩时到12s。传统点扫描激光共聚焦显微镜很难对动态过程实现拍摄，S3000转盘共聚焦成像系统可以很好地捕捉活体样本的动态变化。斑马鱼活体全鱼3D荧光成像神经细胞转入GFP基因的3d日龄斑马鱼，在镜下进行长达2h的活体动态荧光扫描，整张图由8个视野，每个视野17层进行逐层扫描成像，可以在2分钟内进行斑马鱼活体全鱼的荧光扫描，实现了激光点扫描共聚焦无法达到的速度，更好的保持斑马鱼的活性，提供长时间拍摄的条件。肺组织切片的超大视野快速成像对小鼠肺叶组织切片进行共聚焦切片扫描，在其中橙色标明的气管ROI区域进行更大放大倍数的细节扫描。对常规荧光切片扫描仪难以捕捉及判断的信号进行高清成像。肠道微生物高分辨成像利用能够代谢标记肽聚糖的D型氨基酸荧光探针（FDAA）作为工具，通过使用红绿两种FDAA探针对小鼠进行序贯在体标记，随后，对肠道微生物进行取样，并使用S3000转盘共聚焦显微镜观察双色荧光在细菌上的分布，进而推测其增殖分裂模式。【文章链接：《mLife》丨基于共聚焦荧光成像的单细胞分选测序技术揭示肠道菌群中细菌的分裂模式及种属分类 (qq.com)】【拓展阅读：想知道共聚焦显微镜下的昆虫什么样子吗？(qq.com)】【拓展阅读：HOOKE S3000转盘共聚焦显微镜下的微观世界掠影 第二篇--植物系列 (qq.com)】【拓展阅读：共聚焦显微镜下掠影 第三篇《动物组织系列》 (qq.com)如果您对我们的产品和服务感兴趣，请随时联系我们