红外数据分析方法

[align=center][b]个人简介[/b][/align] [img=,640,477]http://ng1.17img.cn/bbsfiles/images/2017/08/201708091048_01_2984502_3.jpg[/img] 曾仲大，男，博士，现任大连达硕信息技术有限公司总经理。 曾博士师承梁逸曾教授，2006年获得工学博士学位，主要从事化学计量学基础算法研究，以及色、质、光谱等分析技术在制药、烟草和代谢组学等复杂体系分析中的应用及其数据分析挖掘等。近年来在大数据的分析与应用方面亦有涉猎。 曾博士先后工作于香港理工大学、澳洲RMIT大学、Monash大学，以及中国科学院大连化学物理研究所。迄今已发表SCI论文40余篇，在2013-2016近三年时间里，以第一作者或合作者在美国分析化学杂志发表7篇研究论文，同时获邀为TrAC等权威期刊撰写化学计量学及化学数据分析处理方面的综述。 曾博士曾获得中国科学院大连化学物理研究所“所百人”引进人才计划，大连“海创工程”计划、高层次人才创新创业支持计划、新兴技术创新成长计划，以及国家人社部高层次海归人才创业计划的支持。公司主要提供复杂化学与生物数据分析服务，数据挖掘软件产品开发，以及个性化数据应用的整体解决方案。[b]人生格言：[/b]有志者，事竟成。[align=center]~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~[/align][b][color=#7030A0] 随感：[/color][color=#7030A0]“[/color][color=#7030A0]我与近红外的故事[/color][color=#7030A0]”[/color][color=#7030A0]征文近一年了，看过许多老师情真意切的表达，真是把乐趣融入到了近红外的研究与应用之中，也更加深切地感受到同行们对国内近红外发展的使命感和责任感。而自己与近红外的故事，几次动笔却都没能写下几个字。时间肯定不是借口，惰性真是害人啊。好在拖到春节，总算能静下心来了。就像与近红外的相遇相知，既是机缘巧合，更是某种必然吧。[/color][/b] 初识近红外，都是博士毕业一年以后的事了。那时已经在香港理工大学周福添教授课题组从事博士后研究一年多了，主要方向还是老本行-化学计量学基础算法研究，解决中药和代谢组学等复杂体系分析中的数据处理问题，从GC-MS，[url=https://insevent.instrument.com.cn/t/Yp][color=#3333ff]LC-MS[/color][/url]到中药指纹与药物活性关系。一次Daniel MOK博士找到我，询问是否有意愿到陈新滋院士课题组从事中药质量分析与鉴别方面的工作，陈院士那时是理大副校长(后任香港浸会大学校长，现受聘中山大学教授、学委会主任)，研究组的条件与学术水准自不必说，就这样幸运地开始了近二年的近红外数据分析之旅。 对香港熟悉的朋友一定对其大街小巷的名贵中药材印象深刻，尤其是弥墩道，应该是内地赴港旅游人士的必经之地吧，一是去旺角购买电子产品的旅游大巴必定经过这里，另一方面则是这条大道两旁大大小小的中药材店。记得第一次见到时，很是疑惑哪来的那么多冬虫夏草、燕窝和野生人参？说回到陈院士负责的这个研究课题，由香港赛马会中药研究院提供500万研究经费，对包括上述中药，以及石斛、灵芝、阿胶等在内的30味名贵中药材进行质量鉴别分析和研究，目的是帮助那些大街小巷的药材经销店铺，中间批发商，甚至普通消费者，以快速、经济、简便的方法识别药材真假，甚至质量等级。这些药材大多价格不菲，若能够有效识别真假，其商用价值可想而知！顺便一提，香港赛马会中药研究院很多年前已经解散，个中原因无法深究，但在目前国家大力践行中医药研究开发与应用的今天，这也算是一件憾事吧，包括设想中的香港国际中医药中心。 说到这里，近红外分析可以派上用场了！无论是十年前，还是十年后的今天，应没有什么分析技术比近红外更适合完成这项使命，综合考虑时间效率、分析成本，亦或是平衡多重因素影响下定性定量分析结果的准确性！记得当时我们使用的是FOSS公司的XDS快速含量分析仪(Type XM 1100Series)，以及Polychromix手持式近红外分析仪(Model:1600-2400)。由于项目定位于实际应用，需要适应不同场合下的快速分析，对数据分析本身的要求同样也是比较高的，比如涉及模型传递，尽可能简化数据分析的过程及对使用者的要求，亦确保结果的准确可靠性。基于此编写了功能完备的近红外数据分析软件系统，一站式地完成近红外数据分析的完整流程，从各种各样的预处理方法到特征选择，再到定性定量模型的构建、评价与验证预测，以及模型传递等。[img=,587,242]http://ng1.17img.cn/bbsfiles/images/2017/08/201708091049_01_2984502_3.jpg[/img] 说实在的，那时对化学计量学的多元校正方法并不是特别熟悉，我的整个硕士和博士研究，都是多元分辨方向，也就是如何从中药和烟草等复杂体系分析的联用仪器数据中，发展“数学分离”的方法，获取化学纯组分的定性定量信息，即纯组分的光谱和色谱信息。幸运的是，得益于在梁逸曾教授研究组六年时间里耳濡目染的学习，比如许青松教授对统计分析的讲解，杜一平教授的QSAR研究等等，使得我无论对复杂数据的理解，还是化学计量学方法的应用与发展，都有足够基础支持我去解决近红外数据分析中遇到的各种问题。在香港的几年时间里，梁教授每年也都会利用假期去香港一段时间，与香港同行合作交流化学计量学及其应用方面的成果，更是继续指导我解决研究中遇到的实际难题。每每想到这些，总会浮现与恩师相处过程中的点点滴滴。至于上面提到的中药质量分析研究项目，我们对包括阿胶、珍珠、川贝母、藏红花、黄连在内的多味中药进行了深入分析研究，获得了非常不错的结果，陈院士对此也给予了很高的评价。很清楚地记得因此第一次上了电视新闻，是香港亚洲卫视针对我们使用近红外分析技术，如何快速识别真假中药，及其质量等级的采访报道。当然，这些研究很多也是和理工大学的同事，以及杨大坚教授(现任重庆市中药研究院院长)、董玮玮博士等一起完成的，我主要负责数据分析，以及数据软件产品开发与实现方面的工作。[img=,574,238]http://ng1.17img.cn/bbsfiles/images/2017/08/201708091050_01_2984502_3.jpg[/img] 离开香港后，很长一段时间内都没有与近红外分析有直接的关联。先是在Philip Marriott 教授课题组做research fellow，从事全二维色谱数据分析方面的工作，主要方向是全二维分离的模拟、预测，以及化学计量学新方法的发展。2012年回国后则作为引进人才，在中科院大连化物所许国旺教授研究组，从事代谢组学数据分析与高分辨[url=https://insevent.instrument.com.cn/t/Yp][color=#3333ff]LC-MS[/color][/url][i][sup]n[/sup][/i]数据处理新算法的研究等。看似这些工作与近红外分析不怎么挨着边，但老实说，同其他研究一样，数据分析也是一通百通的事！数据来源与数据结构可能不一样，数据背景与数据分析结果，以及数据处理方法亦可能存在差别，但数据分析的本质却是高度一致的，无论是色谱分离的模拟，亦或是代谢小分子标志物的发现！从这个意义上来说，也算是一直在这个圈子吧。 近红外技术的发展，面临非常多的机会，无论从国内快检还是工业智能化的需要来看，还是从国外近红外发展的轨迹来看。然而近红外分析更广阔的应用，仍有一系列需要解决的难题，这其中当然包括仪器硬件的小型化、便携式，以及智能化与场景化。但从数据及数据分析的角度来说，快速、准确的模型构建，模型的通用性、更新及转换等仍是需要加以研究的内容。基于此，离开化物所后创办的大连达硕信息技术有限公司，第一个数据产品“魔力”，便专注近红外数据的分析，这也算是真正走在了近红外技术与数据分析的商业应用之路上。希望能够以智慧化、便捷化的方式，分析挖掘科学研究与工业应用中的海量数据。无论对于近红外分析的初入者，还是有了相当经验的人员，一旦采集到数据，便能快速得到好用的模型及结果，这也是目前非常欠缺的，主要原因就在于近红外数据分析的过程长，可变因素多，涉及的算法也很多，传统上要快速得到一个好用的模型并不容易。尽管大多数研究者并没有把数据分析提升到特别核心的位置，但其价值显而易见，甚至在某些方面可与硬件本身相得益彰，弥补硬件的物理劣势！ 另一方面，近红外分析以其简单方便的前处理，加上非常快速的数据采集方式，使得数据的获取，甚至大数据的积累顺理成章。然而即使对同一组数据，不同的研究者亦极有可能得到完全不同，甚至相反的分析结果或结论，即使在固定分析方法的情况下！这是一个容易被忽视，却又至关重要的问题，否则不管如何将近红外分析的硬件评价，以及实验测试全过程标准化，也无法得到可相互比较的结果。数据“横看成岭侧成峰”的魅力，不应是由于数据分析方法或人员的不同导致，而是数据背景的属性差异或者数据分析目的的不同产生。基于此，我们也正采用近红外数据分析的通用准则，使用粒子群等最优化的方法，开发全新的近红外数据分析软件产品，自动优选数据分析算法，以及方法的使用顺序，并全局优化方法的参数。这样我们获得数据后，只需按照标准化的流程一步一步走，便可获得最优的数据分析模型与模型结果。从而使得近红外数据的分析，如同实验分析一样，结果的重现性与可比性也就不再是个问题。避免像现在这样，往往是漫无目的的数据探索，耗费漫长时间也不一定能得到合适好用的模型！这无论在研究中，还是在工业生产中，都是需要花大力气迎接的挑战。在这一过程中，得到了袁洪福教授、吴海龙教授、邵学广教授、杜一平教授、褚小立教授、闵顺耕教授等诸多老师的大力支持与帮助。从老师们关切的眼神中，能读懂那份殷殷之情，也唯有努力做点事情，为国内近红外的发展做些有益的工作，方不负此情。近红外分析能做的事情很多，近红外数据分析如是，尤其站在移动互联时代，站在大数据分析挖掘的视角与高度。近红外有其自身特有的巨大优势-本身就是物联网中的一个 绝佳传感器！从这个意义上来说，近红外分析代表着某种未来，只是通往未来的路上，还需要我辈站在前辈的肩膀上，不断付出智慧和汗水。 “师者也，教之以事而喻诸德也。”，数据分析之路上，深深地烙上了梁逸曾教授的影响。亦师亦友者，感恩、深切缅怀您。

[b]作者：[/b]丁延伟，[color=#2d374b]中国科学技术大学理化科学实验中心副主任。[/color]众所周知，通过热分析/红外光谱联用技术，在得到样品在温度变化过程中质量或热效应的信息的同时还可以得到逸出气体的官能团随温度变化的信息。此处所指的热分析部分主要指热重法（TG）、热重-差热分析（TG-DTA）和热重-差示扫描量热法（DSC），这部分的数据分析将在之后的相关文章中进行介绍，限于篇幅本部分不做进一步展开。在许多专著和教材中，对于红外光谱的理论、实验及数据分析已有更为详尽的介绍，本文中对于这些内容也不做过多的介绍。本文中重点介绍由热分析/红外光谱联用技术得到的数据分析方法，为了叙述方便，将重点介绍由热重/红外光谱（TG/IR）联用实验所得到的数据分析过程。概括来说，由TG/IR可以得到样品在不同温度或时间下得到的所有红外光谱的[color=#000000]三维图（通常称为逸出气体光谱图，简称EGS），还可以得到[/color][color=#000000]逸出气体剖面图（即在实验期间得到的由样品释放出的气体总量为时间或温度的函数曲线，通常通过应用Gram-Schmidt重建算法根据记录得到的红外光谱数据计算出来的剖面图，简称EGP)[/color][color=#000000]、官能团剖面图（即用来表示在热分析实验过程中释放的气体量中特定的化学官能团随测量时间或的变化关系，通常通过对实验过程中所选光谱区域上的红外光谱数据的吸光值积[/color]分来得到该剖面图，简称FGP）、特定气体剖面图（即当选定的光谱区域中含有特定气体（如氨或一氧化碳）时，由软件所得到的一种特殊类型的官能团剖面图，简称SGP）。在TG/IR分析中，通常需要得到EGS、EGP和FGP图。由于在之前的《热分析/红外光谱联用数据分析时三维图的作图方法》一文中已经介绍了EGS的作图法，因此在本部分内容中以美国Perkin-Elmer公司的TG/IR仪所附带的Timebase软件为例介绍EGP和FGP的分析方法。首先，在Timebase软件中打开需要分析的数据的原始文件（图1）。[align=center] [img=,560,301]https://ng1.17img.cn/bbsfiles/images/2019/10/201910170951414224_4507_3224499_3.jpg!w560x301.jpg[/img] [/align][align=center]图1 打开原始文件[/align]图1中左上部分的曲线为任一时刻得到的实时红外光谱谱图，右上部分蓝色的三维图为实验过程中不同时刻/温度下的所有的红外光谱图，下半部分即为EGP曲线。EGP曲线的导出方法为：（1）选中该文件（图2）；[align=center][img=,188,103]https://ng1.17img.cn/bbsfiles/images/2019/10/201910170951540346_4853_3224499_3.jpg!w188x103.jpg[/img][/align][align=center]图2 选中GS曲线[/align]（2）选中File菜单下的Save As选项，会弹出图4所示的窗口，点击保存即得到Excel格式的GS曲线的数据文件（图4）。导出的文件在Origin、Excel等文件中可以直接作图。[align=center][img=,176,258]https://ng1.17img.cn/bbsfiles/images/2019/10/201910170952031126_9770_3224499_3.jpg!w176x258.jpg[/img][/align][align=center]图3[/align][align=center][img=,560,431]https://ng1.17img.cn/bbsfiles/images/2019/10/201910170952153848_188_3224499_3.jpg!w560x431.jpg[/img][/align][align=center]图4[/align]（3）如需直接复制软件中的曲线图，点击Edit菜单下的Copy选项即可（图5）。[align=center][img=,144,117]https://ng1.17img.cn/bbsfiles/images/2019/10/201910170952337376_1353_3224499_3.jpg!w144x117.jpg[/img][/align][align=center]图5[/align]下面介绍FGP曲线的得到方法。用鼠标拖动GS曲线中的黑色竖线即可用来查看在不同时刻或温度下的红外光谱曲线（图6），此时可以看到图6中左上部分的红外光谱图在发生变化。在左上图中移动红色的竖线至感兴趣的官能团所对应的波数位置，例如CO[sub]2[/sub]的特征吸收位置2357cm[sup]-1[/sup]处，右击鼠标会弹出如图7所示的菜单，选中View Profile选项，即可得到该波数随时间或温度变化的FGP曲线，如图8中绿色曲线所示。该曲线在软件中的导出方法同EGP曲线。[align=center][img=,560,295]https://ng1.17img.cn/bbsfiles/images/2019/10/201910170952410486_6248_3224499_3.jpg!w560x295.jpg[/img][/align][align=center]图6[/align][align=center][img=,164,152]https://ng1.17img.cn/bbsfiles/images/2019/10/201910170952494022_9207_3224499_3.jpg!w164x152.jpg[/img][/align][align=center]图7[/align][align=center][img=,560,261]https://ng1.17img.cn/bbsfiles/images/2019/10/201910170952589752_4178_3224499_3.jpg!w560x261.jpg[/img][/align][align=center]图8[/align]如需要导出不同时刻/温度下的实时红外光谱图，如图8中1499.1s处的红外光谱图，则需选中左上图下方的文件（图9），然后按照EGP曲线的导出方法即可得到该时刻的红外光谱图。[align=center][img=,560,274]https://ng1.17img.cn/bbsfiles/images/2019/10/201910170953092976_4639_3224499_3.jpg!w560x274.jpg[/img][/align][align=center]图9[/align]另外，如需在软件中将EGP和FGP曲线的横坐标由时间转化为温度，则可以选中Process菜单中的Convert Time Axis选项（图10），弹出如图11所示的对话框。下方的选项为直接导入热重实验的文件的时间-温度曲线，上方的选项为定义两个指定的温度所对应的时间，由此会生成一个时间-温度的函数曲线，也可以在Excel文件中进行转换。[align=center] [img=,244,327]https://ng1.17img.cn/bbsfiles/images/2019/10/201910170953226375_1876_3224499_3.jpg!w244x327.jpg[/img][/align][align=center]图10[/align][align=center][img=,404,344]https://ng1.17img.cn/bbsfiles/images/2019/10/201910170953340117_8499_3224499_3.jpg!w404x344.jpg[/img][/align][align=center]图11[/align]