数据分析

数据分析中，没有办法显示出偏差………各位大神可以帮帮忙吗[img=,690,920]http://ng1.17img.cn/bbsfiles/images/2018/06/201806200942092316_6632_3292251_3.png[/img]

在繁忙的检测工作中，数据分析是我们每位仪器分析人员在做检测时必做的事，如同家常便饭，下面以同一样品溶液中测铅，同一次检测，不同波长其数据相差大时的分析过程为例，望与各位版友交流和讨论. 铅的分析谱线选择220nm和283nm,数据结果分别为:Pb(220):280mg/kg,Pb(283)308mg/kg,两波长的数据相差接近10%，在标准文件或内部作业指导书没有明确规定釆用那条谱线的数据为结果时，需要仪器分析人员去分析并做出判断。1.从谱图上看，两个波长都没有受到干拢。见下图：http://ng1.17img.cn/bbsfiles/images/2013/04/201304011118_433179_1827064_3.jpghttp://ng1.17img.cn/bbsfiles/images/2013/04/201304011118_433180_1827064_3.jpg2.查看各波长曲线的相关线性,两条波长的线性都大于0.99999，见下图：http://ng1.17img.cn/bbsfiles/images/2013/04/201304011120_433183_1827064_3.jpghttp://ng1.17img.cn/bbsfiles/images/2013/04/201304011120_433184_1827064_3.jpg3.查看标样空白、样品空白和样品的基线强度。各波长标样空白、样品空白和样品的基线强度都很接近，见下图： 标样空白图：http://ng1.17img.cn/bbsfiles/images/2013/04/201304011121_433185_1827064_3.jpghttp://ng1.17img.cn/bbsfiles/images/2013/04/201304011121_433186_1827064_3.jpg样品空白图http://ng1.17img.cn/bbsfiles/images/2013/04/201304011121_433187_1827064_3.jpghttp://ng1.17img.cn/bbsfiles/images/2013/04/201304011122_433188_1827064_3.jpg样品的基线见1中的样品谱图。4.查看测样前后QC质控，QC质控理论浓度为0.5mg/L，见下图：测样前，各波长QC质控值：http://ng1.17img.cn/bbsfiles/images/2013/04/201304011123_433189_1827064_3.jpg测样后，各波长QC质控值：波长220nm和283nm的质控测样前后都有增大(Pb(220):+1.1%,Pb(283):2.8%)，但可接受。综上所述，我会以波长283nm结果出据结果。希望各位版友就数据分析中遇到的问题，发表提问或看法。我所想到与各位版友交流的有以下问题：a.同一元素，不同波长，同一次仪器读数中，数据相差大的原因？b.不同波长测的数据相差大时，版友们是怎么做出判断的？c.日常分析中，是用那些依据来进行数据分析呢？

[align=center][b]个人简介[/b][/align] [img=,640,477]http://ng1.17img.cn/bbsfiles/images/2017/08/201708091048_01_2984502_3.jpg[/img] 曾仲大，男，博士，现任大连达硕信息技术有限公司总经理。 曾博士师承梁逸曾教授，2006年获得工学博士学位，主要从事化学计量学基础算法研究，以及色、质、光谱等分析技术在制药、烟草和代谢组学等复杂体系分析中的应用及其数据分析挖掘等。近年来在大数据的分析与应用方面亦有涉猎。 曾博士先后工作于香港理工大学、澳洲RMIT大学、Monash大学，以及中国科学院大连化学物理研究所。迄今已发表SCI论文40余篇，在2013-2016近三年时间里，以第一作者或合作者在美国分析化学杂志发表7篇研究论文，同时获邀为TrAC等权威期刊撰写化学计量学及化学数据分析处理方面的综述。 曾博士曾获得中国科学院大连化学物理研究所“所百人”引进人才计划，大连“海创工程”计划、高层次人才创新创业支持计划、新兴技术创新成长计划，以及国家人社部高层次海归人才创业计划的支持。公司主要提供复杂化学与生物数据分析服务，数据挖掘软件产品开发，以及个性化数据应用的整体解决方案。[b]人生格言：[/b]有志者，事竟成。[align=center]~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~[/align][b][color=#7030A0] 随感：[/color][color=#7030A0]“[/color][color=#7030A0]我与近红外的故事[/color][color=#7030A0]”[/color][color=#7030A0]征文近一年了，看过许多老师情真意切的表达，真是把乐趣融入到了近红外的研究与应用之中，也更加深切地感受到同行们对国内近红外发展的使命感和责任感。而自己与近红外的故事，几次动笔却都没能写下几个字。时间肯定不是借口，惰性真是害人啊。好在拖到春节，总算能静下心来了。就像与近红外的相遇相知，既是机缘巧合，更是某种必然吧。[/color][/b] 初识近红外，都是博士毕业一年以后的事了。那时已经在香港理工大学周福添教授课题组从事博士后研究一年多了，主要方向还是老本行-化学计量学基础算法研究，解决中药和代谢组学等复杂体系分析中的数据处理问题，从GC-MS，[url=https://insevent.instrument.com.cn/t/Yp][color=#3333ff]LC-MS[/color][/url]到中药指纹与药物活性关系。一次Daniel MOK博士找到我，询问是否有意愿到陈新滋院士课题组从事中药质量分析与鉴别方面的工作，陈院士那时是理大副校长(后任香港浸会大学校长，现受聘中山大学教授、学委会主任)，研究组的条件与学术水准自不必说，就这样幸运地开始了近二年的近红外数据分析之旅。 对香港熟悉的朋友一定对其大街小巷的名贵中药材印象深刻，尤其是弥墩道，应该是内地赴港旅游人士的必经之地吧，一是去旺角购买电子产品的旅游大巴必定经过这里，另一方面则是这条大道两旁大大小小的中药材店。记得第一次见到时，很是疑惑哪来的那么多冬虫夏草、燕窝和野生人参？说回到陈院士负责的这个研究课题，由香港赛马会中药研究院提供500万研究经费，对包括上述中药，以及石斛、灵芝、阿胶等在内的30味名贵中药材进行质量鉴别分析和研究，目的是帮助那些大街小巷的药材经销店铺，中间批发商，甚至普通消费者，以快速、经济、简便的方法识别药材真假，甚至质量等级。这些药材大多价格不菲，若能够有效识别真假，其商用价值可想而知！顺便一提，香港赛马会中药研究院很多年前已经解散，个中原因无法深究，但在目前国家大力践行中医药研究开发与应用的今天，这也算是一件憾事吧，包括设想中的香港国际中医药中心。 说到这里，近红外分析可以派上用场了！无论是十年前，还是十年后的今天，应没有什么分析技术比近红外更适合完成这项使命，综合考虑时间效率、分析成本，亦或是平衡多重因素影响下定性定量分析结果的准确性！记得当时我们使用的是FOSS公司的XDS快速含量分析仪(Type XM 1100Series)，以及Polychromix手持式近红外分析仪(Model:1600-2400)。由于项目定位于实际应用，需要适应不同场合下的快速分析，对数据分析本身的要求同样也是比较高的，比如涉及模型传递，尽可能简化数据分析的过程及对使用者的要求，亦确保结果的准确可靠性。基于此编写了功能完备的近红外数据分析软件系统，一站式地完成近红外数据分析的完整流程，从各种各样的预处理方法到特征选择，再到定性定量模型的构建、评价与验证预测，以及模型传递等。[img=,587,242]http://ng1.17img.cn/bbsfiles/images/2017/08/201708091049_01_2984502_3.jpg[/img] 说实在的，那时对化学计量学的多元校正方法并不是特别熟悉，我的整个硕士和博士研究，都是多元分辨方向，也就是如何从中药和烟草等复杂体系分析的联用仪器数据中，发展“数学分离”的方法，获取化学纯组分的定性定量信息，即纯组分的光谱和色谱信息。幸运的是，得益于在梁逸曾教授研究组六年时间里耳濡目染的学习，比如许青松教授对统计分析的讲解，杜一平教授的QSAR研究等等，使得我无论对复杂数据的理解，还是化学计量学方法的应用与发展，都有足够基础支持我去解决近红外数据分析中遇到的各种问题。在香港的几年时间里，梁教授每年也都会利用假期去香港一段时间，与香港同行合作交流化学计量学及其应用方面的成果，更是继续指导我解决研究中遇到的实际难题。每每想到这些，总会浮现与恩师相处过程中的点点滴滴。至于上面提到的中药质量分析研究项目，我们对包括阿胶、珍珠、川贝母、藏红花、黄连在内的多味中药进行了深入分析研究，获得了非常不错的结果，陈院士对此也给予了很高的评价。很清楚地记得因此第一次上了电视新闻，是香港亚洲卫视针对我们使用近红外分析技术，如何快速识别真假中药，及其质量等级的采访报道。当然，这些研究很多也是和理工大学的同事，以及杨大坚教授(现任重庆市中药研究院院长)、董玮玮博士等一起完成的，我主要负责数据分析，以及数据软件产品开发与实现方面的工作。[img=,574,238]http://ng1.17img.cn/bbsfiles/images/2017/08/201708091050_01_2984502_3.jpg[/img] 离开香港后，很长一段时间内都没有与近红外分析有直接的关联。先是在Philip Marriott 教授课题组做research fellow，从事全二维色谱数据分析方面的工作，主要方向是全二维分离的模拟、预测，以及化学计量学新方法的发展。2012年回国后则作为引进人才，在中科院大连化物所许国旺教授研究组，从事代谢组学数据分析与高分辨[url=https://insevent.instrument.com.cn/t/Yp][color=#3333ff]LC-MS[/color][/url][i][sup]n[/sup][/i]数据处理新算法的研究等。看似这些工作与近红外分析不怎么挨着边，但老实说，同其他研究一样，数据分析也是一通百通的事！数据来源与数据结构可能不一样，数据背景与数据分析结果，以及数据处理方法亦可能存在差别，但数据分析的本质却是高度一致的，无论是色谱分离的模拟，亦或是代谢小分子标志物的发现！从这个意义上来说，也算是一直在这个圈子吧。 近红外技术的发展，面临非常多的机会，无论从国内快检还是工业智能化的需要来看，还是从国外近红外发展的轨迹来看。然而近红外分析更广阔的应用，仍有一系列需要解决的难题，这其中当然包括仪器硬件的小型化、便携式，以及智能化与场景化。但从数据及数据分析的角度来说，快速、准确的模型构建，模型的通用性、更新及转换等仍是需要加以研究的内容。基于此，离开化物所后创办的大连达硕信息技术有限公司，第一个数据产品“魔力”，便专注近红外数据的分析，这也算是真正走在了近红外技术与数据分析的商业应用之路上。希望能够以智慧化、便捷化的方式，分析挖掘科学研究与工业应用中的海量数据。无论对于近红外分析的初入者，还是有了相当经验的人员，一旦采集到数据，便能快速得到好用的模型及结果，这也是目前非常欠缺的，主要原因就在于近红外数据分析的过程长，可变因素多，涉及的算法也很多，传统上要快速得到一个好用的模型并不容易。尽管大多数研究者并没有把数据分析提升到特别核心的位置，但其价值显而易见，甚至在某些方面可与硬件本身相得益彰，弥补硬件的物理劣势！ 另一方面，近红外分析以其简单方便的前处理，加上非常快速的数据采集方式，使得数据的获取，甚至大数据的积累顺理成章。然而即使对同一组数据，不同的研究者亦极有可能得到完全不同，甚至相反的分析结果或结论，即使在固定分析方法的情况下！这是一个容易被忽视，却又至关重要的问题，否则不管如何将近红外分析的硬件评价，以及实验测试全过程标准化，也无法得到可相互比较的结果。数据“横看成岭侧成峰”的魅力，不应是由于数据分析方法或人员的不同导致，而是数据背景的属性差异或者数据分析目的的不同产生。基于此，我们也正采用近红外数据分析的通用准则，使用粒子群等最优化的方法，开发全新的近红外数据分析软件产品，自动优选数据分析算法，以及方法的使用顺序，并全局优化方法的参数。这样我们获得数据后，只需按照标准化的流程一步一步走，便可获得最优的数据分析模型与模型结果。从而使得近红外数据的分析，如同实验分析一样，结果的重现性与可比性也就不再是个问题。避免像现在这样，往往是漫无目的的数据探索，耗费漫长时间也不一定能得到合适好用的模型！这无论在研究中，还是在工业生产中，都是需要花大力气迎接的挑战。在这一过程中，得到了袁洪福教授、吴海龙教授、邵学广教授、杜一平教授、褚小立教授、闵顺耕教授等诸多老师的大力支持与帮助。从老师们关切的眼神中，能读懂那份殷殷之情，也唯有努力做点事情，为国内近红外的发展做些有益的工作，方不负此情。近红外分析能做的事情很多，近红外数据分析如是，尤其站在移动互联时代，站在大数据分析挖掘的视角与高度。近红外有其自身特有的巨大优势-本身就是物联网中的一个 绝佳传感器！从这个意义上来说，近红外分析代表着某种未来，只是通往未来的路上，还需要我辈站在前辈的肩膀上，不断付出智慧和汗水。 “师者也，教之以事而喻诸德也。”，数据分析之路上，深深地烙上了梁逸曾教授的影响。亦师亦友者，感恩、深切缅怀您。

[size=18px][b] 学习了文献计量学后，我好像对大数据分析有更深的领悟了。林肯说过一句富有哲理的话：你可以在一个时期蒙骗所有人，也可以长时期蒙骗一些人，但你无法在长时期蒙骗所有人。[/b][/size][size=18px][b] 我引申为对大数据分析的理解。你可以一时蒙骗过大数据，但只要你长时间这么做，肯定蒙骗不了大数据。[/b][/size][b][size=18px] [/size][/b]

[font=宋体][font=宋体][b][i][sup][size=18px]?数据分析计算和建模的自动化处理平台[/size][/sup][/i][/b][size=18px]大神做了一个数据分析计算和建模的自动化处理平台，现在是科研教学应用的开发阶段。后续准备面向市场向各个行业的数据分析去接入。[/size][b][size=24px]数据预处理，时间序列分析[/size][/b][/font][b][size=24px] ,[font=宋体]回归模型，分类模型，降维方法，聚类算法，綜合评价，关联分斫，文本分析，信号分析，深度学习，空间分析，模型评估选择等算法。[img=,690,410]https://ng1.17img.cn/bbsfiles/images/2023/05/202305111124286413_397_1620854_3.jpg!w690x410.jpg[/img][/font][/size][/b][/font][b][size=24px][/size][/b][font=Calibri][size=18px] 共罗列了100+的算法。。。。。。。[/size][size=24px][img=,690,111]https://ng1.17img.cn/bbsfiles/images/2023/05/202305111122223410_1965_1620854_3.png!w690x111.jpg[/img][/size][font=宋体][size=24px]定好接口，未来领域分析和个性化算法都可以接入。[/size][img=,690,482]https://ng1.17img.cn/bbsfiles/images/2023/05/202305111121457799_1212_1620854_3.png!w690x482.jpg[/img][/font][/font]

请问大家在用EELS进行数据分析时，遇到过如下问题吗？EELS-Quantify，然后无法输出结果[img=,426,447]https://ng1.17img.cn/bbsfiles/images/2019/03/201903041516289847_483_3514662_3.png!w426x447.jpg[/img]

请问如图所示的EELS数据分析，结果有问题吗？为什么image的background与high loss image一致，而signal是没有信号的？[img=,900,489]https://ng1.17img.cn/bbsfiles/images/2019/03/201903041525088946_3430_3514662_3.png!w900x489.jpg[/img]