红外数据分析

p　　span style="font-family: 楷体,楷体_GB2312,SimKai "strong随感：/strong“我与近红外的故事”征文近一年了，看过许多老师情真意切的表达，真是把乐趣融入到了近红外的研究与应用之中，也更加深切地感受到同行们对国内近红外发展的使命感和责任感。而自己与近红外的故事，几次动笔却都没能写下几个字。时间肯定不是借口，惰性真是害人啊。好在拖到春节，总算能静下心来了。就像与近红外的相遇相知，既是机缘巧合，更是某种必然吧。/span/pp　　初识近红外，都是博士毕业一年以后的事了。那时已经在香港理工大学周福添教授课题组从事博士后研究一年多了，主要方向还是老本行-化学计量学基础算法研究，解决中药和代谢组学等复杂体系分析中的数据处理问题，从GC-MS，LC-MS到中药指纹与药物活性关系。一次Daniel MOK博士找到我，询问是否有意愿到陈新滋院士课题组从事中药质量分析与鉴别方面的工作，陈院士那时是理大副校长(后任香港浸会大学校长，现受聘中山大学教授、学委会主任)，研究组的条件与学术水准自不必说，就这样幸运地开始了近二年的近红外数据分析之旅。/pp　　对香港熟悉的朋友一定对其大街小巷的名贵中药材印象深刻，尤其是弥墩道，应该是内地赴港旅游人士的必经之地吧，一是去旺角购买电子产品的旅游大巴必定经过这里，另一方面则是这条大道两旁大大小小的中药材店。记得第一次见到时，很是疑惑哪来的那么多冬虫夏草、燕窝和野生人参?说回到陈院士负责的这个研究课题，由香港赛马会中药研究院提供500万研究经费，对包括上述中药，以及石斛、灵芝、阿胶等在内的30味名贵中药材进行质量鉴别分析和研究，目的是帮助那些大街小巷的药材经销店铺，中间批发商，甚至普通消费者，以快速、经济、简便的方法识别药材真假，甚至质量等级。这些药材大多价格不菲，若能够有效识别真假，其商用价值可想而知!顺便一提，香港赛马会中药研究院很多年前已经解散，个中原因无法深究，但在目前国家大力践行中医药研究开发与应用的今天，这也算是一件憾事吧，包括设想中的香港国际中医药中心。/pp　　说到这里，近红外分析可以派上用场了!无论是十年前，还是十年后的今天，应没有什么分析技术比近红外更适合完成这项使命，综合考虑时间效率、分析成本，亦或是平衡多重因素影响下定性定量分析结果的准确性!记得当时我们使用的是FOSS公司的XDS快速含量分析仪(Type XM 1100 Series)，以及Polychromix手持式近红外分析仪(Model: 1600-2400)。由于项目定位于实际应用，需要适应不同场合下的快速分析，对数据分析本身的要求同样也是比较高的，比如涉及模型传递，尽可能简化数据分析的过程及对使用者的要求，亦确保结果的准确可靠性。基于此编写了功能完备的近红外数据分析软件系统，一站式地完成近红外数据分析的完整流程，从各种各样的预处理方法到特征选择，再到定性定量模型的构建、评价与验证预测，以及模型传递等。/pp style="text-align: center"img src="http://img1.17img.cn/17img/images/201706/insimg/137c0a6d-7548-46ef-beea-f984cce33ba7.jpg" title="2_副本.jpg"//pp style="text-align: center "中药质量分析与鉴别项目中用到的近红外分析仪 (图1和图2)。/pp　　说实在的，那时对化学计量学的多元校正方法并不是特别熟悉，我的整个硕士和博士研究，都是多元分辨方向，也就是如何从中药和烟草等复杂体系分析的联用仪器数据中，发展“数学分离”的方法，获取化学纯组分的定性定量信息，即纯组分的光谱和色谱信息。幸运的是，得益于在梁逸曾教授研究组六年时间里耳濡目染的学习，比如许青松教授对统计分析的讲解，杜一平教授的QSAR研究等等，使得我无论对复杂数据的理解，还是化学计量学方法的应用与发展，都有足够基础支持我去解决近红外数据分析中遇到的各种问题。在香港的几年时间里，梁教授每年也都会利用假期去香港一段时间，与香港同行合作交流化学计量学及其应用方面的成果，更是继续指导我解决研究中遇到的实际难题。每每想到这些，总会浮现与恩师相处过程中的点点滴滴。至于上面提到的中药质量分析研究项目，我们对包括阿胶、珍珠、川贝母、藏红花、黄连在内的多味中药进行了深入分析研究，获得了非常不错的结果，陈院士对此也给予了很高的评价。很清楚地记得因此第一次上了电视新闻，是香港亚洲卫视针对我们使用近红外分析技术，如何快速识别真假中药，及其质量等级的采访报道。当然，这些研究很多也是和理工大学的同事，以及杨大坚教授(现任重庆市中药研究院院长)、董玮玮博士等一起完成的，我主要负责数据分析，以及数据软件产品开发与实现方面的工作。/pp style="text-align: center"img src="http://img1.17img.cn/17img/images/201706/insimg/ac0a45a1-23c7-43bf-8467-f0cb1a6ccb8d.jpg" title="3_副本.jpg"//pp style="text-align: center "中药质量分析与鉴别项目交流会 (图3)，及与日本Yukihiro Ozaki教授交流(图4)。/pp　　离开香港后，很长一段时间内都没有与近红外分析有直接的关联。先是在Philip Marriott 教授课题组做research fellow，从事全二维色谱数据分析方面的工作，主要方向是全二维分离的模拟、预测，以及化学计量学新方法的发展。2012年回国后则作为引进人才，在中科院大连化物所许国旺教授研究组，从事代谢组学数据分析与高分辨LC-MSn数据处理新算法的研究等。看似这些工作与近红外分析不怎么挨着边，但老实说，同其他研究一样，数据分析也是一通百通的事!数据来源与数据结构可能不一样，数据背景与数据分析结果，以及数据处理方法亦可能存在差别，但数据分析的本质却是高度一致的，无论是色谱分离的模拟，亦或是代谢小分子标志物的发现!从这个意义上来说，也算是一直在这个圈子吧。/pp　　近红外技术的发展，面临非常多的机会，无论从国内快检还是工业智能化的需要来看，还是从国外近红外发展的轨迹来看。然而近红外分析更广阔的应用，仍有一系列需要解决的难题，这其中当然包括仪器硬件的小型化、便携式，以及智能化与场景化。但从数据及数据分析的角度来说，快速、准确的模型构建，模型的通用性、更新及转换等仍是需要加以研究的内容。基于此，离开化物所后创办的大连达硕信息技术有限公司，第一个数据产品“魔力”，便专注近红外数据的分析，这也算是真正走在了近红外技术与数据分析的商业应用之路上。希望能够以智慧化、便捷化的方式，分析挖掘科学研究与工业应用中的海量数据。无论对于近红外分析的初入者，还是有了相当经验的人员，一旦采集到数据，便能快速得到好用的模型及结果，这也是目前非常欠缺的，主要原因就在于近红外数据分析的过程长，可变因素多，涉及的算法也很多，传统上要快速得到一个好用的模型并不容易。尽管大多数研究者并没有把数据分析提升到特别核心的位置，但其价值显而易见，甚至在某些方面可与硬件本身相得益彰，弥补硬件的物理劣势!/pp　　另一方面，近红外分析以其简单方便的前处理，加上非常快速的数据采集方式，使得数据的获取，甚至大数据的积累顺理成章。然而即使对同一组数据，不同的研究者亦极有可能得到完全不同，甚至相反的分析结果或结论，即使在固定分析方法的情况下!这是一个容易被忽视，却又至关重要的问题，否则不管如何将近红外分析的硬件评价，以及实验测试全过程标准化，也无法得到可相互比较的结果。数据“横看成岭侧成峰”的魅力，不应是由于数据分析方法或人员的不同导致，而是数据背景的属性差异或者数据分析目的的不同产生。基于此，我们也正采用近红外数据分析的通用准则，使用粒子群等最优化的方法，开发全新的近红外数据分析软件产品，自动优选数据分析算法，以及方法的使用顺序，并全局优化方法的参数。这样我们获得数据后，只需按照标准化的流程一步一步走，便可获得最优的数据分析模型与模型结果。从而使得近红外数据的分析，如同实验分析一样，结果的重现性与可比性也就不再是个问题。避免像现在这样，往往是漫无目的的数据探索，耗费漫长时间也不一定能得到合适好用的模型!这无论在研究中，还是在工业生产中，都是需要花大力气迎接的挑战。在这一过程中，得到了袁洪福教授、吴海龙教授、邵学广教授、杜一平教授、褚小立教授、闵顺耕教授等诸多老师的大力支持与帮助。从老师们关切的眼神中，能读懂那份殷殷之情，也唯有努力做点事情，为国内近红外的发展做些有益的工作，方不负此情。/pp　　近红外分析能做的事情很多，近红外数据分析如是，尤其站在移动互联时代，站在大数据分析挖掘的视角与高度。近红外有其自身特有的巨大优势-本身就是物联网中的一个绝佳传感器!从这个意义上来说，近红外分析代表着某种未来，只是通往未来的路上，还需要我辈站在前辈的肩膀上，不断付出智慧和汗水。/pp　　“师者也，教之以事而喻诸德也。”，数据分析之路上，深深地烙上了梁逸曾教授的影响。亦师亦友者，感恩、深切缅怀您。/pp style="text-align: right "span style="font-family: 楷体,楷体_GB2312,SimKai "　　2017年1月30日于浙江西湖/span/pp　　strong个人简介/strong/pp/pp style="text-align: center"img src="http://img1.17img.cn/17img/images/201706/insimg/e1424397-960a-4e21-a206-9245429e6328.jpg" title="1_副本.jpg"//pp　　曾仲大，男，博士，现任大连达硕信息技术有限公司总经理。/pp　　曾博士师承梁逸曾教授，2006年获得工学博士学位，主要从事化学计量学基础算法研究，以及色、质、光谱等分析技术在制药、烟草和代谢组学等复杂体系分析中的应用及其数据分析挖掘等。近年来在大数据的分析与应用方面亦有涉猎。/pp　　曾博士先后工作于香港理工大学、澳洲RMIT大学、Monash大学，以及中国科学院大连化学物理研究所。迄今已发表SCI论文40余篇，在2013-2016近三年时间里，以第一作者或合作者在美国分析化学杂志发表7篇研究论文，同时获邀为TrAC等权威期刊撰写化学计量学及化学数据分析处理方面的综述。/pp　　曾博士曾获得中国科学院大连化学物理研究所“所百人”引进人才计划，大连“海创工程”计划、高层次人才创新创业支持计划、新兴技术创新成长计划，以及国家人社部高层次海归人才创业计划的支持。公司主要提供复杂化学与生物数据分析服务，数据挖掘软件产品开发，以及个性化数据应用的整体解决方案。/pp　　strong人生格言：/strong有志者，事竟成。/p

近红外数据分析中的关键问题网络讲座顺利召开 2016年8月30日上午，由华东理工大学、南开大学、大连达硕信息技术有限公司共同主办的网络讲座，在仪器信息网，以在线的方式顺利召开。讲座分别由杜一平教授、邵学广教授、曾仲大总经理担任主讲人，围绕近红外数据分析中关键性、经常性问题进行全面、深入阐述。 杜老师从近红外光谱数据预处理、变量选择、模型构建与结果验证等诸多方面，非常细致地介绍了整个建模过程中涉及的算法及算法原理、注意事项，以及普遍遇到的问题及解决方法。杜老师也提到，近红外数据分析绝非看似的那样简单，涉及对数据的理解、对算法的理解。同时不能只关注数学方法，更要记住我们是化学家！邵老师从大数据分析角度出发，阐述近红外数据分析，并延伸到近红外光谱的模型转移。大数据是国家关注的重点方向，企业信息化的推进，数据体量不断增大，需要基于大数据与云计算的手段方法提升效率，挖掘数据价值。近红外的模型转移则是现在生产型企业发展中遇到的，非常棘手的问题。不同厂家、不用仪器的数据和模型不能共享，很难实现数据融合。邵老师经过多年的研究与实践从方法到应用给大家进行了详细介绍。同时邵老师介绍了近红外模型转移中需要考虑和注意的问题，以及目前比较成熟的算法，为大家解决实际问题提供广阔思路。 曾老师则从近红外数据分析应用与软件系统实现的角度，阐述如何能更智慧地构建近红外分析模型，并结合大连达硕信息技术有限公司最新发布的魔力近红外数据分析产品(v2.0版)，全面介绍系统如何实现智慧型近红外数据分析，包括批量文件夹数据载入，智能数据建模算法流，“随时”、“随时”数据建模，全面的建模方法比较，以及优异的用户体验等等。同时鼓励近红外同行们使用产品，支持国产软件发展。讲座后，三位老师延长预定时间，回答大家感兴趣的诸多问题。此次讲座得到了近红外分析和化学计量学同行的普遍关注，人气指数超过5,500，300余人报名参加。讲座结束后，大家通过各种途径表达对讲座的支持厚爱，效果很好，评价非常高。与此同时，大连达硕信息技术有限公司在讲座后，建立化学数据联盟微信群，一方面使与会者可更深入讨论近红外相关问题，推进行业发展，另一方面也广纳同行对联盟发展的意见与建议，促进联盟发展。 大连达硕信息是国家高新技术企业，专注化学与生物行业数据的整合分析与深度挖掘，辅助决策支持，公司全方位提供数据分析服务、数据处理产品，以及个性化数据应用整体解决方案，是我国化学与生物数据应用领域的排头兵。公司技术力量非常雄厚，在化学与生物数据分析领域积累非常丰富的经验，深受客户好评。

大连达硕信息技术有限公司(以下简称“达硕信息”)专注企业级数据的分析整合、深度挖掘与商业智能，掌握数据核心技术，提供专业化的数据处理软件产品，个性化的数据整体解决方案，以及平台级的数据整合服务。公司目前推出多款数据分析软件产品，欢迎试用。魔力TM复杂多变量数据智慧化处理软件系统 (ChemDataSolution)科学仪器数据因其高维、高通量与高复杂度的特征，价值密度大，但分析处理的困难度亦很高。食品快检与安全监测、工业过程分析与生物组学研究等众多领域所面临的在线与动态、快速与实时，以及模型共享与大数据分析等诸多问题，对智慧型数据挖掘与深度价值利用提出了现实的需求。与传统的多变量数据分析产品或仪器自带的软件相比，ChemDataSolution系统在复杂情形下的文件夹数据批载入、智能算法流、一键数据处理与多模型分析、同时模型构建、验证与预测、多线程与并行计算以及用户体验等各个方面具有开创性，是分析处理色谱和质谱，尤其是近红外等光谱数据的强大工具。主界面截图 (ChemDataSolution)该系统具有如下的特色与优势： 1、数据分析算法流算法流是指构造包含不同数据处理方法的数据整合与优化流程，设置算法参数，在实际的数据分析处理中，仅需往算法流中添加待分析数据即可获得最终结果，完整保留中间计算结果以备查验，实现更快速便捷，准确智能的分析模式。 2、一键处理与多模型处理因算法流思想可实现数据处理方法的逐级串联与优化整合，将训练集、验证集或预测集同时添加到算法流中，达到一键处理即获得所有分析结果的目的。 3、同步建模、验证与预测在算法流的使用中，用户可分别添加建模、验证与预测数据，系统先构造模型，然后再将验证与预测数据进行相同的预处理或特征选择操作，基于已构建的模型获得计算结果，同样可极大减少用户的操作步骤。 4、智能数据批载入与数据库数据载入是数据分析的基础，实现复杂情形下的数据批载入是实现智慧型数据分析的前提。通过研究不同类型数据结构，尤其是数据自动载入时可能遇到的各种情形，提出数据智能载入的整体解决方案，如数据类型与长度、数据与字符、数据分隔符、化学坐标处理、数据头文件、数据排列方式、数据载入后是否放入已经存在的数据文件中，以及多个数据文件的上述处理方式是否存在差别等。 5、用户体验ChemDataSolution实现了非常人性化的用户体验与功能，比如基于XML技术的参数预设值、保存与调用，用户偏好设置，自定义报表，特别是基于导航栏文件式的数据、图形、算法流与模型结果管理等。 代谢组学小分子化合物快速鉴定软件系统该系统由达硕信息与中国科学院大连化学物理研究所共同开发完成，是未知代谢物定性分析的不二选择。系统融合多级质谱的精确质量数与保留时间信息，实现未知代谢物的多层次鉴定分析。系统主要具有如下功能与特色： 1、完备的代谢标准化合物数据库系统以SOP的方法，在正、负二个电离模式，以及三个不同检测电压下，采用先进的AB SCIEX 5600+仪器，构建2,000个不同代谢物的LC-MSn数据库，同时包含高分辨精确一级和二级质谱，以及保留时间的信息。这也是系统的核心优势之一。 2、定性经验的传递基于LC-MSn分析的化合物鉴定，经验性极强，初学者或者研究生需要花费很大的时间与精力才能基本掌握；而且学生一旦毕业，其定性结果与经验又无法为实验室继续利用，导致学生循环往复，研究组的积累却很是有限。系统通过不同成员构建灵活的扩展库数据库、未知物数据库，本地与局域网互联互通，以及强大的数据库功能，达到这样的目标：“研究生毕业不要紧、定性知识留下来”，“新进实验室不要紧，站在师兄师姐的肩膀上”。 3、多层次定性分析除上述自建标准化合物数据外，系统集成HMDB、Metlin、LIPID MAPS以及MMCD网络数据库，用户可在系统直接批量搜索这些数据库，实现与自建数据库分析结果的比较、融合与定性结果相互补充、扩展。在此基础上，用户可实现自建标准化合物数据库、网络数据库、扩展数据库，以及未知物数据库的综合定性分析，并可在不同数据库所得到的结果间相互比较分析，以获得最可靠的鉴定结果。此外，系统通过先进的样本间数据校正、定性匹配算法、原始数据批载入，批量定性分析，快速丰富查询(如中性丢失等)，以及优越的用户体验等功能，实现代谢小分子化合物的快速鉴定。主界面截图 (代谢小分子化合物快速鉴定软件系统)