建模研究

pspan style="font-family: 楷体, 楷体_GB2312, SimKai "　　受仪器信息网叶编辑的再三约稿，为再次庆祝近红外光谱分会成立十周年，感谢学会领导及专家同仁们一直以来的热忱关心关爱关照，感谢仪器信息网的多年大力支持和为近红外搭建的一个畅所欲言的平台，我十分用心地撰写了此文，以此深表谢意。/span/ppspan style="font-family: 楷体, 楷体_GB2312, SimKai "　　笼统粗放地说，MLR多用于基础研究，PLS常用于实际应用。基础是根本，是永恒不变的，而应用方法随时都有可能推陈出新。就目前而言，在解决实际问题时，特别是只追求结果时，PLS是建模最佳选择，这是定论，我是赞成的。要想知道一些成分与波长间的相互关系，MLR是首选，这也是定论，我无异议。除此之外，今天想赋予其新意，特此撰写此文，与各位同仁共同磋商。/span/pp style="text-align: center"img style="max-width:100% max-height:100% " src="https://img1.17img.cn/17img/images/201908/uepic/558cffab-6e70-4d06-9ff1-a2c43a90ac35.jpg" title="韩.png" alt="韩.png"//pp style="text-align: center "strong中国农业大学 韩东海/strong/ppstrong　　一、撰写本文的契机/strong/pp　　一次偶然的机会，在整理查看K款水果品质专用便携仪MLR模型信息时发现了一个至今尚未得到其解的现象，那就是有四组看似毫不相干的不同种类的水果，竟然能共享一个模型(其中，猕猴桃的系数不同)进行预测，如表1所示。我们对多种水果共用一个模型进行预测并不陌生，曾经对苹果梨桃三种水果采用最大包容性波长共建一个模型进行过研究sup1)/sup，针对840-918 nm波段建立PLS模型，取得了良好效果。我们曾经认为苹果桃梨的理化性质相近，光谱波形相似，所以才能共享一个模型。例如，苹果梨桃的形状大小相当、薄皮、果肉均匀、有果核等相似的物理性质和种类间水分含量及SSC相近，可溶性固形物成分相似等化学性质类似。很明显，我们的推测在此没有得到验证。/pp　　我请教过果蔬生理专家，询问共享吸收波长的四组果实的生理特征，答复是日韩梨、猕猴桃和枇杷三者都有明显的后熟软化过程，后熟后才适宜食用；番茄和李子都是呼吸跃变型果实；西瓜和甜瓜都是由胎座形成可食果肉，内部有籽；苹果和柿子无明显生理共性。生理共性应体现在光物性上，仅凭生理共性难以诠释。理化特性，生理特征与光物性之间存在何种关系，遗憾地是，这些基础性的研究至今为止暂时无解，这是我的困惑。/pp style="text-align: center "strong表1 K水果专用便携仪MLR模型所用波长/strong/pp style="text-align: center"img style="max-width: 100% max-height: 100% width: 600px height: 341px " src="https://img1.17img.cn/17img/images/201908/uepic/669e8fe7-d24b-499a-94cf-e2e003c400b7.jpg" title="002.png" alt="002.png" width="600" height="341" border="0" vspace="0"//pp　　破解这个困惑的意义不言而喻，可以以此类推，建立一系列的同类物料的模型，大大减少建模工作量。例如，探索小麦粉、大米粉、糯米粉等三粉是否可共享一个模型，等等。/pp　　近红外光谱分析技术起源于实践，理论相对滞后，有待进一步完善；能解决实际问题、不能清楚解释的案例司空见惯，这也许是近红外光谱分析技术不同于其他技术的特殊所在。/pp　　上文是困惑，下文是理解、归纳、体会、感想，统称为新解。/ppstrong　　二、近红外技术是严谨的，同时又是粗放的/strong/pp　　近红外光谱分析过程不论是代表性样品的选择，还是光谱预处理、建模、验证、预测等均有严格的程序，按照规定程序得出的结果也许不是很理想，但结论一般难以推翻。这是严谨的一面。近红外分析的结果，甚至是结论可谓代表一种趋势。例如，无损检测哈密瓜糖度，预测数值误差也许较大，谈不上理想，但是糖度高的哈密瓜肯定比糖度低的甜，这就是一种趋势和结论。相对结果有问题，绝对趋势很正确，这是近红外分析技术粗放的一面。/pp　　实际上，对于K款仪器，上文是事实，也是规律，但不一定是普遍规律。曾经有人把苹果的4个波长代入不同仪器中，得出完全不一样的结论。很明显，仪器不同，光谱形状不同，直接代入是不符合逻辑的。在新的仪器中，也许部分规律能够再现，也许难以重复。下文讲的结论也是一种趋势。/pp　　早在1985年和1995年学者们就发现了水果建模两个关键波长，一个是904nm附近的碳水化合物吸收波长sup2)/sup，一个是880nm周边的辅助波长sup3)/sup。如果把904nm± 2nm均归纳为904nm，880nm± 4nm归纳为880nm，对表1中的波长出现次数进行统计，则发现波长904nm除草莓外，用于12种水果，频率最高。其次是波长880nm在8种水果中出现，如表2所示。由此可知，880nm和904nm是果实建模时最为优先选用的特征波长。在多数情况下，830nm和856nm左右的波长与糖度无关，常用于物料温度和光程的修正sup4)/sup，其选取原则是吸光度谱二阶导趋于0的位置，最终以预测结果最佳进行每个波长微调。/pp style="text-align: center "strong表2 波长出现的次数统计/strong/pp style="text-align: center"img style="max-width: 100% max-height: 100% width: 600px height: 203px " src="https://img1.17img.cn/17img/images/201908/uepic/8de13b4e-41b4-4121-8109-06355d362a05.jpg" title="003.png" alt="003.png" width="600" height="203" border="0" vspace="0"//pp　　K是一款果实品质无损检测专用仪器，已经得到业界公认，该仪器所选用的13种果实波长具有一定的代表性和重要的参考意义。/pp　　关于MLR建模波长的选择，解释的比较全面有代表性的案例应该是小麦粉蛋白质Cp的计算sup5)/sup。/pp　　Cp=12.68+493.7 log(1/Rsub2180/sub)-323.1 log(1/Rsub2100/sub)-243.4 log(1/Rsub1680/sub)/pp　　其中，log(1/Rsub2180/sub)，log(1/Rsub2100/sub)，log(1/Rsub1680/sub)分别是2180，2100，1680 nm处的吸光度。2180nm是蛋白质特征波长，2100nm是淀粉特征波长，1680 nm是与成分无关的中立特征上波长，反映小麦粉粉碎粒度信息，如图1所示。第一个变量是预测成分的特征波长，其它后续各项多为互补或修正。小麦粉是混合物，成分间相互影响。淀粉是小麦粉的主要成分，故淀粉是修正项；颗粒对光谱有影响，所以也是修正项。/pp style="text-align: center"img style="max-width: 100% max-height: 100% width: 400px height: 334px " src="https://img1.17img.cn/17img/images/201908/uepic/37759836-8655-4b5b-bf08-768546f37df6.jpg" title="图1.png" alt="图1.png" width="400" height="334" border="0" vspace="0"//pp style="text-align: center "strong图1 小麦蛋白质近红外预测/strong/ppstrong　　三、 知晓特殊波长有助于思考信噪比/strong/pp　　由上述13种果实可知，光谱分布范围最短波长是766nm，最长为920nm。假设以此为果实近红外吸收波段的话，那么，在选择或研发检测器时，波长范围不需太宽，700nm-950nm段的灵敏度越高越好，而通用光谱仪很难照顾到此处。上述K款仪器之所以获得业界好评，就是因为提高了光谱仪850nm-950nm之间的灵敏度，使得仪器输出能量增大，错开了非线性区间。同理，在选择光源时应尽量选择700nm-950nm范围内强度高，且稳定，避免图2所示的结果。只看数据，图2所示LED光源波长范围400nm-1000nm适合果实糖度无损检测，而看具体光谱特性则一目了然，750nm以后能量快速下降，根本不适合上述果实的无损检测。/pp style="text-align: center"img style="max-width: 100% max-height: 100% width: 400px height: 314px " src="https://img1.17img.cn/17img/images/201908/uepic/b25a45be-323e-486e-8d6c-1420e32af212.jpg" title="图2.png" alt="图2.png" width="400" height="314" border="0" vspace="0"//pp style="text-align: center "strong图2 LED连续光源/strong/pp　　LED连续光源已经问世，且光谱特性可根据需要进行特殊设计，满足要求。在知晓特殊波长的情况下，更有利于未来专用仪器的开发。/ppstrong　　四、 滤光片型仪器，而非MLR建模/strong/pp　　滤光片型光谱仪多数伴随着MLR建模，即使上述K款仪器也是在连续光谱上取四五个波长后进行MLR运算的。现实中，滤光片仪器越来越少，究其原因是台间差大，无法进行光谱预处理。日本有一A款手持仪已经停产，C款仅限日本国内销售。同时，也有非常成功的案例。Process Sensors公司的MCT460就是其中一例。该仪器是水分专用近红外在线检测仪。根据网上仅有的资料及个人理解，工作原理大致归纳如下，一些细节知之甚少。/pp　　以选用水的吸收波长1940nm为例。共用三个波长，一个是水的吸收波长λw1940nm，一个参考波长λ1小于1940nm，一个参考波长λ2大于1940nm，这两个参考波长选用原则一是与水吸收无关，二是与物料吸收无关。我认为，影响在线测量水分的因素有两个，一个是物料的高低不平，一个是物料的温度。所以，这两个参考波长一个与距离有关，一个与温度有关。再有就是两个参考波长对光谱影响程度有别，权重不一。/pp　　仪器结构如图3所示。光源被分为External和Internal两束光，分别依次通过1100 r/min旋转圆盘上的三个滤光片。由物料反射回来的λw光能量经反射镜、透镜以及聚光镜进入检测器。两个参考波长的能量以同样的原理进入检测器。/pp style="text-align: center"img style="max-width: 100% max-height: 100% width: 300px height: 414px " src="https://img1.17img.cn/17img/images/201908/uepic/de9ad5e4-07fc-4077-8baa-17e2da9ebd44.jpg" title="图3.png" alt="图3.png" width="300" height="414" border="0" vspace="0"//pp style="text-align: center "strong图3 水分近红外在线检测仪/strong/pp　　原始信号由External和Internal之比获得。External信号受物料和反射光的影响，而Internal只受反射光的影响。Internal信号消除由光源辉度变化引起的漂移。检测器收集了3个反射波长能量，能量大小用λw1940nm反射能量与两个参考波长能量之比进行评价。/pp　　Process Sensors公司把水分定义为：/pp style="text-align: center "物料水分 = a + b (R / M)/pp　　R：参考波长能量的相对测量值，M：λw能量的相对测量值/pp　　由该公式可知，物料水分与参考波长能量和水分波长能量之比成正比。其中R为加权之后的λ1能量和λ2能量之和。λ1、λ2和λw又是External / Internal之比，具体表述如下：/pp style="text-align: center "λ1=λ1External /λ1 Internal /pp style="text-align: center "λ2=λ2External /λ2 Internal /pp style="text-align: center "λw=λwExternal /λw Internal/pp　　由此可知，该仪器在线测量水分时，无需参比测量，无需模型修正，无需吸光度计算，只需计算各个相对能量值就能获得结果。/pp　　类似案例还有NDC的在线检测系列产品，N1手持仪。这也许是滤光片型光谱仪的未来之路。/pp　　我已经拜读了邵学广老师的理论研究氛围浓厚的“近红外水光谱组学：一种新的分析手段”、褚小立老师的高度、广度、深度俱全的“从两句话浅述分子光谱技术的应用进展”、彭黔荣、张辞海老师的全面系统地概述了“近红外技术在烟草行业中的应用进展”、迅杰光远阎巍总经理的雄心大志篇“近红外新技术的探索与应用”。字里行间，充分体现了各位专家对近红外技术的深厚感情。我受益颇多，提升了认知水平。特别是褚小立老师的”纪念诺贝尔奖级科学家：近红外光谱技术之父Karl Norris”一文，让我们重温了一次现代近红外技术的发明史，回归原点，重新出发，踏上新的征程。我还会继续关注后续专家有待上网刊登的文章。/pp　　本文属于非学术性论文，一些观点、结论纯属个人认知，未必正确，仅供参考。/ppstrongspan style="font-family: " times="" new=""　　参考论文/span/strong/ppspan style="font-family: " times="" new=""　　1、 Ran Liu, Shuye Qi, Jie Lu, Donghai Han:Measurement of soluble solid content of three fruit species using universal near infrared spectroscopy models”, JNIRS—Journal of Near Infrared Spectroscopy , 23, 301–309 (2015)/span/ppspan style="font-family: " times="" new=""　　2、 Gerald S. Birth, Gerald G. Dull, W,T：Nondestructive spectrophotometric determination of dry matter in onions. J.Amer.Soc.Hort.Sci.,110,297-303,1985/span/ppspan style="font-family: " times="" new=""　　3、 Kumi Miyamoto and Yoshinobu Kitano Non-Destructive Determination of Sugar Content in Satsuma Mandarin Fruit by near Infrared Transmittance Spectroscopy Journal of Near Infrared Spectroscopy Vol. 3,Issue 4,pp. 227-237(1995)/span/ppspan style="font-family: " times="" new=""　　4、 伊藤秀和，森本進，堀江秀樹：近赤外分光法によるメロン糖度の非破壊計測法の開発，第 48 回自動制御連合講演会，2005年/span/ppspan style="font-family: " times="" new=""　　5、 河野澄夫：近赤外分光法による農産物等の非破壊品質評価，農業機械学会誌第75巻 第2号，2013/span/pp style="text-align: right "strongspan style="font-family: 楷体, 楷体_GB2312, SimKai "（中国农业大学 韩东海）/span/strong/p

近日，科迈恩科技面向广大分析测试领域的科研、检测、生产及教学用户推出了最新一代面向科学大数据的化学计量学与机器学习解决方案ModelLab Matman。ModelLab Matman作为科迈恩科技开发的ModelLab系列AI建模分析软件中的一员，提供对于科学数据领域通用的化学计量学分析与机器学习建模的广泛支持，可以对任何通用类型的数据文件（如Excel表格、CSV数据文件）进行建模分析。ModelLab Matman采用C++语言专为高性能矩阵计算开发，结合各类定性与定量化学计量学与机器学习高性能算法模型，为满足复杂体系科学数据分析的需求提供行业领先的分析软件和科研工具。图1 ModelLab 科学大数据AI建模解决方案产品家族新品亮点1. 多模态分析仪器复杂体系数据挖掘ModelLab系列软件（含Matman, Specman, Chroman, Massman等）提供对各类色谱、质谱、光谱，核磁共振，以及其他类型仪器及科学统计数据的AI建模分析支持。专业的仪器数据处理提供包括色谱峰保留时间对齐、质谱解卷积、光谱多元校正、高维光谱因子分解等各类多维、高分辨数据的解析和处理。从而实现高度自动化的定性、定量及非靶向分析。图2 ModelLab化学计量学与机器学习算法组成2. 领先的科学大数据机器学习建模ModelLab Matman独有的化学计量学高性能计算SDK涵盖多元校正、多元统计、回归建模、模式识别、因子分解以及知识图谱等在内的各类机器学习算法。其包括PCA、PLSR、SVM、ATLD、随机森林、聚类热图等数十种功能强大的算法模型，并支持与仪器数据无缝连接。图3 ModelLab功能模块：模型训练3. 高维高内涵的多组学数据分析ModelLab Matman通过数据以及模型输入接口API，支持对各类色谱、质谱、光谱等仪器分析原始数据以及任意的表格及矩阵数据的快速机器学习建模和预测过程。可应用于指纹图谱、非靶向代谢组学、风味组学、环境暴露组学等各类多模态融合组学研究。4. 实时高效的大数据可视化分析ModelLab Matman通过将化学计量学与机器学习、自然语义分析以及知识图谱相结合，通过丰富的大数据可视化技术使得复杂体系样品数据分析过程和结论所见即所得。从而通过人工智能技术为分析测试相关行业的数字化、智能化转型和提质增效提供有力支撑。图4 ModelLab功能模块：算法自定义结果输出图5 ModelLab功能模块：自定义图表外观图6 ModelLab功能模块：分析报告应用领域通过化学计量学与机器学习相结合，所建立的定性、定量预测模型可广泛应用于检测分析各行业相关领域的复杂体系非靶向分析。图7 一致性评价模型【中药制药】中药材及饮片真伪优劣与质量评价、指纹图谱分析、中药注射剂质量控制、一致性评价、道地产地溯源与土壤因子、贵细药材分等分级、原料混批勾兑、储藏时间预测【代谢组学与蛋白组学】非靶向代谢指纹图谱分析、脂质体组学分析、代谢通路研究、空间代谢组学分析【化学药与生物制品】药物体内代谢、有关物质分析、原料药及中间体快检、在线过程控制、肽图指纹图谱、药物辅料智能分析、体内外相关性分析、一致性评价【精准医学】癌症早筛、多模态质谱成像分析、疾病标志物发现、血药浓度监控【环境保护】水质快检分析、水中油快速鉴别、污染物三维荧光分析、污染物预警监测、污染物的溯源鉴定、空气异味评级等【食品及农产品】原料及添加剂快速筛查、违法违禁添加、原产地及年份溯源、风味特征物质剖析、数字化定量勾兑、香精香料分析、品质分等分级【快消品】真实性评价及违法添加筛查、气味客观化与品质分等分级、白酒真实性溯源及感官评价、烟草及香精香料的风味组学建模与分析【石油化工】轻重质油、润滑油、生物柴油的油品分析、油页岩分析、溢油溯源鉴别、录井勘探、沥青真实性与老化智能分析等【珠宝玉石】珠宝玉石、陶瓷、文物等的真伪鉴别、断代、断源鉴别及三维荧光快检【司法鉴定】纸张、染料、油墨、墨水、纺织品、土壤、毒物的来源及真实性鉴别等【汽车制造】气味嗅辩分析、气味客观化分析与智能评级、油漆智能鉴别、润滑油快检分析 ModelLab系列软件作为一款多组学融合与多组学分析技术提供强大的数据分析工具，提供基于前沿算法与人工智能相结合的创新智能仪器分析手段，借以提升中国分析测试行业客户的化学分析能力，打破了长期以来分析测试行业的数据孤岛，解决长期困扰国产化仪器领域的软件及算法等“卡脖子”问题，从而为我国仪器仪表及检测行业持续提供基于前沿算法与人工智能相结合的创新检测手段。关于科迈恩科技科迈恩科技秉持“让AI为创新分析技术赋能”的愿景，致力于让广大用户受益于大数据和人工智能技术对于检测能力的创新和提高。目前科迈恩科技已在智能化仪器数据分析、快检技术、新药研发、精准医疗、感官评价等工业级AI建模等领域拥有系列化产品或解决方案，涵盖色谱、质谱、光谱、核磁共振等多维分析大数据的融合。所服务的客户覆盖制药、快消品、农产品、临床、石化、环保、交通、汽车制造等诸多领域。关注“科迈恩科技”公众号，了解更多分析检测行业的解决方案如您对科迈恩科技有更多想了解，可通过仪器信息网和我们取得联系！400-860-5168转3905

ModelLab Massman 是由科迈恩科技开发的基于质谱离子源的通用化学计量学与机器学习建模软件，可开展基于各类快速质谱离子源如DART、DESI、MALDI、ASAP等的数据（.csv, .cdf, .mzml等）的建模分析任务。该系统采用C++语言专为高性能矩阵计算开发，结合各类定性与定量化学计量学与机器学习高性能算法模型，为满足复杂体系快速质谱快检建模的需求提供行业领先的分析软件和科研工具。 ModelLab Massman 是ModelLab系列AI建模分析软件中的一员。ModelLab针对光谱、三维光谱、色谱、二维色谱、串联质谱、质谱离子源、质谱成像、核磁共振波谱等不同仪器数据多组学与AI建模分析的需要，分别提供对应的解决方案。图1 ModelLab 科学大数据AI建模解决方案产品家族图2 ModelLab Massman 界面展示图3 ModelLab Massman 界面展示新品亮点 一、全面的快速质谱离子源类型支持 ModelLab Massman解决方案支持的快速质谱离子源类型包括DART、DESI、MALDI、ASAP等，并支持对各主流质谱仪器厂家数据文件格式及国标格式（如.csv, .cdf, .mzml, .mzxml等）进行读取及建模分析。二、标准化的质谱数据预处理流程 ModelLab Massman内置支持质谱图批量自动处理的标准化预处理流程，包括峰标注、背景扣除、离子排除列表、质量轴校正、样品叠加比对、计算平均质谱图等一系列质谱离子源数据处理工具。三、样品间比对与对齐功能 ModelLab Massman支持多种样品间比对与对齐功能，用于不同样品间特征成分对齐和差异表征，包括质量轴漂移智能对齐、谱图叠加与镜像比对，以及质谱解卷积功能等。四、快速质谱建模一站式智能工具 ModelLab Massman建模功能强大。系统内置各类常用的化学计量学与机器学习定性及定量模型，从而满足模式判别以及量化预测等不同针对质谱直接实时分析建模的需要。五、丰富的质谱应用扩展 ModelLab Massman针对不同分析领域提供丰富的快速质谱应用扩展，包括针对石油化工领域的油品智能分析系统、针对气味感官领域的样品溯源系统等。应用领域 通过ModelLab Massman所提供的快速质谱法结合化学计量学和机器学习的智能快检分析，该分析策略可广泛应用于各分析领域的复杂体系定量以及非靶向分析。结果快捷、灵敏，精确，应用潜力巨大。 中药与民族药 药材及饮片真伪鉴别；道地产地真实性溯源；多组分含量测定；智能快检分析；指纹图谱分析；非法添加快筛化学药与生物制品原料快检分析；在线过程及工艺监控；杂质分析；原辅料一致性评价；药品国评探索性研究等临床检测药物代谢分析；质谱成像；组织及细胞快筛分析；血药浓度监控石油化工水中总有机碳TOC；多环芳烃类分析；藻类快速鉴别；工业、农业废水、污水厂原水、尾水分析；重金属及毒素测定；溢油溯源鉴别；污染物溯源环境与水质工业、农业废水、污水厂尾水等水质分析；污染物溯源分析；异味客观化评价快消品及农产品食品真实性分析；地理标志产区溯源；在线过程及工艺监控；品质分等分级；香精香料分析；农兽残快检分析；黄曲霉毒素分析；配方与勾兑设计关于科迈恩科技科迈恩科技秉持“让AI为创新分析技术赋能”的愿景，致力于让广大用户受益于大数据和人工智能技术对于检测能力的创新和提高。目前科迈恩科技已在智能化仪器数据分析、快检技术、新药研发、精准医疗、感官评价等工业级AI建模等领域拥有系列化产品或解决方案，涵盖色谱、质谱、光谱、核磁共振等多维分析大数据的融合。所服务的客户覆盖制药、快消品、农产品、临床、石化、环保、交通、汽车制造等诸多领域。关注“科迈恩科技”公众号，了解更多分析检测行业的解决方案如您对科迈恩科技有更多想了解，可通过仪器信息网和我们取得联系！400-860-5168转3905