模型

6月15日，我国首个渔业大模型“范蠡大模型1.0”在中国农业大学发布，据悉，该模型可以实现渔业多模态数据采集、清洗、萃取和整合等，将为渔业养殖工人、管理经营者和政府决策部门提供全面、精准的智能化支持。“范蠡大模型1.0”发布现场(中国农业大学供图)渔业大国，面临转型的需求我国是水产养殖大国，数据显示，2023年，我国水产养殖产量达5812万吨，约占世界水产养殖总产量的60%以上，为城乡居民提供了1/3优质动物蛋白。但同时，我国不是养殖强国，水产养殖资源利用率、劳动生产率低，水产养殖产业发展面临多种转型需求。范蠡大模型设计者、发起者、国家数字渔业创新中心主任、中国农业大学信息与电气工程学院教授李道亮介绍，“我国水产养殖品种繁多，包括鱼、虾、蟹、贝、参、藻等，养殖模式多样，建立完整养殖品种的生产模型是极其困难的；同时，劳动力出现了普遍老龄化现象，有调查数据显示，我国水产养殖中，劳动力成本占70%左右，劳动者平均年龄达到55岁。新一代缺乏养殖经验，也不愿意从事传统的养殖生产，需要人工智能技术的支持。”范蠡大模型设计者、发起者、国家数字渔业创新中心主任、中国农业大学信息与电气工程学院教授李道亮(中国农业大学供图)随着现代技术的发展，水产养殖已经从1.0时代发展到4.0时代。李道亮介绍，“渔业1.0时代主要以小农生产为主，特征是依靠人力、手工工具、经验等养殖。2.0时代，水产养殖逐渐实现机械化、装备化，主要依靠机械动力和电力进行生产。3.0时代，自动化和计算机技术成为核心，生产装备出现数字化、网络化、自动化特征。到4.0时代，物联网、大数据、人工智能、机器人等技术普遍应用在生产中，无人化生产逐渐实现。”随着人工智能、机器人学习等技术的逐渐出现和成熟，越来越多的农业场景开始应用这些技术，但作为水产养殖大国，我国当前的水产养殖中，相关技术的应用还较为缺乏。渔业模型，从小到大的升级如何在水产养殖中应用现代技术，甚至打造未来的无人渔场？李道亮介绍，我国水产养殖品种繁多，养殖环境差异较大，而机理模型的构建，需考虑鱼类品种、饵料、病害、环境变化等一系列因素，面对众多的品种和养殖模式以及地区气候差异，逐个养殖品种建立像发达国家的养殖机理模型是不现实的。所谓大模型，是指具有大规模参数和复杂计算结构的机器学习模型，参数数量动辄数十亿甚至数千亿。在渔业中，大模型可以利用深度学习和数据驱动的方法，能够分析海量的养殖数据，揭示其中的规律和关联性。“它们不仅能够模拟和预测水质、饵料、疾病等因素对养殖效果的影响，还能够优化养殖方案，提高生产效率和经济效益。”李道亮说。智能池塘养鱼场景(中国农业大学供图)随着社会发展和水产养殖业转型，渔业大模型越来越成为产业发展的重要助力，为此，李道亮带领团队联合中国联通、中国电信、中国移动三家运营商、全国主要水产院校和科研机构，以鱼、虾、蟹、贝等27种我国主养品种水产文本语料为主，辅以文本、图像、视频、音频等多模态数据，形成大规模渔业专业知识语料库，通过深度学习架构，通过预训练和微调、参数共享与注意力机制、提示工程等技术，实现渔业多模态数据采集、清洗、萃取和整合等。“这一模型，不仅实现了丰富的渔业养殖知识生成，还包括水、饵、病、管等多方面多元化的预测、分析和决策。”李道亮说。范蠡为名，改变未来的渔业大模型构建成功后，命名为“范蠡大模型1.0”。李道亮介绍，范蠡是春秋末期越国大夫，众所周知的是，他是著名的政治家、军事家，也是商家鼻祖，但他同时也是我国最早的水产养殖专家，早在2500年前的春秋时期，他就写了一部《养鱼经》，并流传至今，“所以我们以范蠡为名，希望它能够在新时代中，为我国水产养殖带来的新的气象。”据介绍，范蠡大模型1.0分为请问我、请听我、请看我、请决策四个模块，分别代表文本、语音、视频、物联网决策四大场景，用户可以查询渔业的不同应用。而针对准确监测和评估鱼类的健康状况和体重异常耗时费力，且可能对鱼类造成伤害的问题，国家数字渔业创新中心开发了基于计算机视觉技术的鱼类体重估计模型，基于机器视觉实时捕捉水下鱼类图像和优化构建的深度神经网络算法，自动完成图像中鱼类目标的检测和定位，通过提取形状、颜色、纹理等多维度特征，以非接触方式实现对鱼类体重的实时、准确估算，同步完成生长及健康状态监测和计算，为投饵决策、水环境、能耗优化控制提供数据支撑。范蠡大模型利用了多种现代技术，以此实现水产养殖的数字化、无人化。图为鱼的种类识别模型(中国农业大学供图)“当前，范蠡大模型还是1.0，未来还会不断进化，人工智能在智慧渔业中的应用，是多元化且深远的、长期的，不可能一蹴而就。未来，范蠡大模型还有很长的路要走，必须充分发挥通信、科研、水产养殖企业、养殖户等各种不同领域的优势力量，以产学研用协同推进大模型的开发与应用，人工智能才能真正落地。”李道亮说。

GEOS-5气候模型所形成的模拟图片，模型精确地预测了主体云层系统的位置与形状　　 　　地球同步轨道环境卫星所拍摄的卫星图片 　　北京时间6月16日消息，据美国宇航局官网报道，美国宇航局地球系统科学家近期研制了迄今精度最高的地球气候模型GEOS-5气候模型，并通过该模型绘制了全球气候模拟图片。模拟图片与卫星图片对比显示，GEOS-5气候模型可以精确地预测气候状况。 　　科学是一个过程。科学家首先需要实地观测，然后提出假设用于解释观测数据，最后再通过系统验证和推理，找到支持或辩驳其假设的证据，从而得出一个科学的结论。许多人或许认为，科学家们在进行假设和验证的过程，所有工作都是在实验室中进行的。但是，对于研究地球如何运行的地球系统科学家来说，他们的实验室就是整个星球。面对庞大的星球，科学家们很难将全球各地不同的气温或云雨真正地集中到狭小的实验室中系统地研究。相反，他们只有将实地观测数据结合起来，形成复杂的电脑模型进行模拟研究。通过这类模型，科学家们可以对不同的假设进行测试和验证，并利用真实的观测数据进行检测，从而科学家们可以真正地理解地球大气、陆地和海洋等各个方面是如何协同工作的。 　　本文中的两幅图片分别为地球气候模型模拟图片(上图)和地球同步轨道环境卫星图片，上图显示的是分别通过两种方式所获得的同一时刻地球气候状况。该地球气候模型被称为“戈达德地球观测系统模型-第五版”(GEOS-5)，也是迄今精度最高的地球气候模型。下图则是由美国宇航局和美国国家海洋和大气局的地球同步轨道环境卫星所拍摄的卫星图片。通过图片对比发现，GEOS-5模型精确地预测了2010年2月6日时的云层特点。当天，一股强烈的寒流为华盛顿特区带来了一场数英尺厚的暴雪。 　　2010年2月6日，GEOS-5模型和地球同步轨道环境卫星传感器分别对地球上空的云层进行了红外测量。两幅图片显示，陆地上空覆盖着厚厚的云层，模拟图片与卫星图片所描绘的情况极其吻合。模型精确地预测了主体云层系统的位置与形状，如北大西洋东部上空的卷曲云带以及美国海岸附近的强烈冬季风暴。高精度的GEOS-5气候模型甚至还可以详细预测云层形状的细节。在2月6日的模拟图片中，气候模型预测了一些小型云层的边线、云街现象以及冬季风暴的东部细节。在一幅全球模拟图片中，气候模型还精确地预测了热带地区的大量雷暴现象。 　　GEOS-5气候模型的精度通常为每像素5公里，尽管它的精度最高可达每像素3.5公里，因此它也是目前世界上最精确的全球气候模型。普通气候模型在模拟云层情况时，精度大约为每像素28公里。这就意味着，由普通气候模型所产生的全球平面地图包含了77.7万个网格单元(像素)，而5公里精度的GEOS-5气候模型所产生的地图(上图)则包含了2400万个网格单元。因此，科学家可以根据GEOS-5气候模型获得关于地球的更详细的信息。 　　和所有的气候模型一样，GEOS-5气候模型也是利用数学方程式来计算气候变化情况。地球气候的一些物理属性，如温度和能量等，则需要实地测量。实时数据被输入模型，从而保证模型与真实世界尽可能一致。当然，在建造模型过程中，数百万次的计算则需要数千台计算机处理器。GEOS-5气候模型运行于美国宇航局戈达德太空飞行中心新成立的气候模拟中心的“发现”超级计算机之上。“发现”超级计算机拥有近1.5万个处理器。 　　气候科学家将利用GEOS-5气候模型预测未来数十年的气候变化情况。2010年6月2日，美国宇航局气候模拟中心以新名称开始运作。

一、背景介绍：机器视觉可称为人工智能的“慧眼”，成像系统的标定又是机器视觉处理的重要环节之一，其标定精度与稳定性直接影响系统工作效率。在传统机器视觉与摄像测量标定领域，小孔透视模型仍存在高阶透镜畸变无法完备表征和多类复杂特殊成像系统不适用的问题。而基于光线的模型以成像系统聚焦状态下每个像素点均对应空间一条虚拟主光线为前提假设，通过确定所有像素点所对应光线方程的参数即可实现标定与成像表征，可避免对复杂成像系统的结构分析与建模。基于该光线模型，研究院相关课题组发展了各类特殊条纹结构光三维测量方法与系统，实验证明光线模型可通用于多类复杂成像系统的高精度测量，是校准非针孔透视成像系统的有效模型，可作为透视模型的补充。二、光线模型Baker等人最早提出了一种可表征任意成像系统的光线模型[1]，认为图像是像素的离散集合，并以一组虚拟的感光元件“光素”表示每个像素与某像素相关联的空间虚拟光线间的完整几何特性、辐射特性和光学特性，如图1所示。因此，光线模型的标定即确定出所有像素点对应的光线方程，无需严格分析和构建成像系统的复杂光学成像模型，具备一定的便携性和通用性，从一定程度上也可避免镜头畸变的多项式近似表征引入的测量误差，为非小孔透视投影模型成像系统的表征提供了一种新的思路。图1 成像系统的光线模型示意图三、基于光线模型的条纹结构光三维测量在条纹结构光投影三维测量领域，光线模型一方面可作为三维重建的光线方案，用于表征大畸变镜头、光场相机、DMD投影机、MEMS投影机等多类特殊结构的成像与投影装置，可发展新的基于光线模型的条纹结构光三维测量方法与系统；另一方面，发掘光线模型在结构光测量中的优势，光线模型对克服投影与相机的非线性响应、大畸变镜头成像下提升三维重建精度具有优异的效果。3.1 Scheimpflug小视场远心结构光测量系统光线模型与三维测量课题组开发了小视场远心结构光测量系统，采用Scheimpflug结构设计确保公共景深覆盖，如图2所示。考虑到远心镜头属平行正交投影、Scheimpflug倾斜结构造成畸变模型非中心对称，因此，提出一种基于光线模型的非参数化广义标定方法[2]。系统中相机与投影机成像过程均采用光线模型表征，标定其像素与空间光线对应关系，计算光线交汇点坐标，实现三维重建。图3展示了系统实物图与五角硬币局部小区域的三维测量结果，测量精度为2 μm。图2 Scheimpflug小视场远心结构光测量系统图3 测量系统实物图与五角硬币局部的三维测量结果3.2光场相机的光线模型标定与主动光场三维测量课题组发展了基于主动条纹结构光照明的光场三维测量方法与系统。光场相机通过在传感平面前放置微透镜阵列，实现光线强度和方向的同时记录，由于存在微透镜加工误差、畸变像差、装配误差等复杂因素影响，光场相机完备表征与精密标定是个难题。课题组提出光线模型表征光场成像过程[3]，即将光场相机内部看作黑盒，直接建立像素m与所对应的物空间光线方程l的参数，如图4所示。并通过标定光场所有光线与投影条纹相位的映射关系实现被测为物体的高精度三维测量，考虑光场多角度记录特点，构建基于条纹调制度的数据筛选机制，实现了场景的高动态三维测量，如图5所示，黑色面板与反光金属可同时重建。图4 光场成像模型图5 主动光场高动态三维测量3.3 DMD投影机与双轴MEMS激光扫描投影机的光线模型标定与三维测量基于微机电系统（MEMS）激光扫描的投影机以小型化、大景深的优势被应用于条纹投影测量系统，如图6（a）所示。但由于其依赖激光点的双轴MEMS扫描投影图案，不依赖镜头成像，透视投影模型表征会存在一定误差。此外， DMD等依赖镜头成像的投影机，大光圈设计也会影响小孔透视投影模型的表征精度。对此，课题组采用光线模型表征投影机[4]，并提出了一种基于投影机光线模型的条纹投影三维测量系统标定方法，该方法根据双轴MEMS投影的正交相位对光线进行识别追踪，利用投影光线与相机构建的三角测量实现了三维重建。进一步发现：由于投影光线的相位一致性特性，光线模型可显著抑制系统非线性响应引起的测量误差，图6（b）展示了单目系统在3步相移条件下（未额外矫正非线性响应），分别使用透视投影模型与光线模型对石膏雕塑的三维重建结果，可见光线模型对非线性响应影响具有免疫性。图6 双轴MEMS激光扫描投影原理和石膏雕塑三维重建结果（3步相移，左图为透视投影模型，右图为光线模型）3.4单轴MEMS激光扫描投影机光线模型标定与三维测量单轴MEMS投影机将激光点扫描拓展为面扫描大幅提升了投影速率，可应用于动态测量。针对单轴MEMS投影机无透镜结构使得针孔模型不适用、单向投影无法提供正交相位特征点的问题，课题组提出一种基于等相位面模型的系统标定方法[5]，推导出了相机反向投影射线与该等相位面交点处的三维坐标值与相位值间新的映射函数，实现了快速三维重建。图7展示了使用高速相机搭建的单目测量系统和重建场景，投影采集速率为1000 frame/s，采用4步相移与雷码图相位展开，三维重建速率为90 frame/s。后续为适应更高速率测量应用，可将单目扩展为双目或多目系统，采用单帧解调相位和多极线约束相位展开等方法减少投影图像数量，提升三维测量速率。图7三维测量系统与动态重建场景3.5大畸变镜头成像的光线模型标定与三维测量针对传统低阶多项式不能完备表征大畸变镜头的问题，课题组采用光线模型表征大畸变镜头相机成像，并提出一种完全脱离对相机和投影机内参依赖（透视模型依赖相机与投影机内参）的光线与条纹相位映射的三维重建方法。通过直接标定相机光线与条纹相位的倒数多项式映射系数，避免了繁琐耗时的对应点搜索与光线插值操作。图8为装配4 mm广角镜头的光线标定结果与标准球三维测量结果，可见由于广角镜头畸变较大，光线模型较透视模型重建质量有所提升。图8 广角镜头光线标定与标准球三维测量数据的拟合误差分布（a）透视投影模型，（b）光线映射模型四、总结光线模型通过确定所有像素点所对应光线方程的参数实现标定与成像表征，从而避免了对复杂成像（投影）系统的结构分析与建模，解决了特殊条纹投影三维测量系统的标定与重建问题，同时在条纹投影三维测量的系统非线性相位误差抑制和精度提升上展示出优异性能。在结构光三维测量的未来发展中，可进一步扩展光线模型三维测量的方法与应用，提升测量精度、效率与通用性，解决各类特殊复杂场景中的应用测量问题。参考文献[1] Baker S, Nayar S K. A theory of catadioptric image formation[C]//Sixth International Conference on Computer Vision (IEEE Cat. No.98CH36271), January 7, 1998, Bombay, India. New York: IEEE Press, 1998: 35-42.[2] Yin Y K, Wang M, Gao B Z, et al. Fringe projection 3D microscopy with the general imaging model[J]. Optics Express, 2015, 23(5): 6846-6857.[3] Cai Z W, Liu X L, Peng X, et al. Ray calibration and phase mapping for structured-light-field 3D reconstruction[J]. Optics Express, 2018, 26(6): 7598-7613.[4] Yang Y, Miao Y P, Cai Z W, et al. A novel projector ray-model for 3D measurement in fringe projection profilometry[J]. Optics and Lasers in Engineering, 2022, 149: 106818.[5] Miao Y P, Yang Y, Hou Q Y, et al. High-efficiency 3D reconstruction with a uniaxial MEMS-based fringe projection profilometry[J]. Optics Express, 2021, 29(21): 34243-34257.课题组简介：本文作者：刘晓利 ，杨洋 ，喻菁 ，缪裕培 ，张小杰 ，彭翔 ，于起峰 ；深圳大学物理与光电工程学院深圳市智能光测与感知重点实验室。以于起峰院士领衔的深圳大学智能光测图像研究院主要研究方向包括大型结构变形与大尺度运动测量、超常光学测量与智能图像分析、计算成像与三维测量以及多传感器融合感知与控制等。