仪器信息网APP
选仪器、听讲座、看资讯
立即体验
APP内打开
回版面
评论
收藏
点赞
拍砖
举报
取消
发布
当前位置:
仪器社区
>
光谱
>
近红外光谱(NIR)
>
帖子详情
近红外光谱分析与化学计量学方法
Ins_29253308
2024/06/28
私聊
近红外光谱(NIR)
在
近红外光谱
技术发展初期,由于数据处理方法的局限性,难以分离或提取近红外重叠谱峰中的有用光谱信息,其光谱数据可利用率低,导致该技术不受重视,一度进入沉默期。
20
世纪
60
年代以来,
Norris
利用
近红外光谱
技术在农产品品质分析中做了大量的工作,利用多元线性回归建立定标模型,但仍无法提取与物质成分含量相关的光谱信息,并给予合理的光谱解析。此外,也难以合理解释样品大小及颗粒度等影响所导致的光谱不稳定性。因此,
近红外光谱
技术被称为
“黑匣子”技术。
直到
20
世纪
80
年代,化学计量学迅速发展,
多元校正及模型识别等方法被逐步引入到
近红外光谱
解析和定标模型建立中,使得
近红外光谱
技术真正达到了定标理论与实践的统一,并推动了
近红外光谱
技术和化学计量学的并肩发展。目前,化学计量学是
近红外光谱
技术密不可分的一部分,主要包括光谱预处理方法、变量选择方法、定性定量建模方法、异常值的统计识别与模型优化方法、以及模型传递方法。
一、样品的分组方法及选择标准
代表性样品的选取对于建立良好的定量定性模型非常重要。在获取代表性样品后,通常需要将样品分为校正集和验证集。对于样品的分组,常用的方法主要有
Kennard-Stone
(
K-S
)方法和
SPXY
方法。
K-S
方法主要是基于光谱变量之间的欧式距离,在特征空间中均匀选取样品,但样品选取时没有考虑样品浓度的影响。
SPXY
方法在
K-S
方法的基础上提出,综合考虑了样品光谱和浓度的距离进行样品选取。
对于校正集和验证集样品,其选择需要满足一定的参考标准。如校正集中的样品需要有较广的浓度范围,能覆盖待测样品可能出现的浓度范围,以保证待测样品的预测是通过模型内插分析而获得。此外,当建模所用的变量数为K
(K
>3
)时,校正集样品的数量一般要不少于6K
。详细的校正集和验证集样品选择标准请参考国家标准
GB/T 29858
-2013
。
二、光谱预处理方法
近红外光谱
除了含有样品本身的物理结构与化学成分信息外,还会引入由仪器暗电流、样品背景与状态、杂散光、环境变化等因素引起的各类光谱噪声。因此,在建模分析前,需要对所采集的
近红外光谱
数据进行预处理,以尽可能地消除光谱噪声的影响。按光谱预处理方法的作用分,主要为基线校正、散射校正、平滑校正及尺度缩放四类。
基线校正方法主要包括一阶导数、二阶导数及小波变换
(
W
avelet transform
,
WT
)
等。一阶导数主要用于消除光谱基线的平移,二阶导数主要用于消除光谱基线的漂移。小波变换则是通过扣除原始光谱信号的低频成分实现基线校正。散射校正方法主要包括多元散射校正
(
M
ultiplicative scatter correction
,
MSC
)
和标准正态变量变换
(
S
tandard normal variate transform
,
SNV
)
,主要用于消除由于颗粒大小和分布均匀度不同所产生的散射对光谱的影响。平滑校正方法主要包括移动平均平滑、
Savitzky-Golay
卷积平滑、高斯滤波
(
G
aussian filter
)
平滑、中值滤波
(
M
edian filter
)
平滑等,用于降低光谱的随机噪声,提高光谱信噪比。尺度缩放方法主要包括中心化变换
(
M
ean centering
)
、
标准化变换(
A
uto scaling
)、最大最小归一化(
Min-max scaling
)、
Pareto
尺度化等,用于消除尺度差异过大带来的影响。
三、光谱变量选择方法
近红外光谱
数据变量众多,往往有几百甚至上千个波长变量,存在着严重的数据冗余,直接利用所有变量来建模分析,会造成模型的过拟合,使模型的稳定性变差。因此,需要采用变量选择方法剔除冗余波长变量,筛选有用的特征波长变量。目前,变量选择方法主要有基于波长点的变量选择方法和基于波长区间的变量选择方法。
基于波长点的变量选择方法是将每一个波长作为一个变量,获取一系列的波长变量子集,并从变量子集中选择最优的波长变量组合。常用的变量选择方法
[6]
主要有无信息变量消除(
UVE
)、连续投影算法(
SPA
)、遗传算法(
GA
)、竞争性自适应重加权采样(
CARS
)
[17]
、变量投影重要性(
VIP
)
[18]
、模拟退火算法(
SA
)、粒子群优化算法(
PSO
)、蚁群优化算法(
ACO
)、迭代保留有效变量(
IRIV
)
[19]
、自举柔性收缩算法(
BOSS
)
[20]
等。
基于波长区间的变量选择方法是将光谱波长区间作为一个处理单元(变量),获取一系列波长区间的组合,从中选择最优的波长区间组合。常用的变量选择方法主要有区间偏最小二乘(
iPLS
)、前向偏最小二乘(
fiPLS
)、反向偏最小二乘(
biPLS
)、区间组合偏最小二乘(
siPLS
)、移动窗偏最小二乘(
MWPLS
)、区间组合优化法(
ICO
)
[21]
及区间蛙跳算法(
iRF
)
[22]
等。其中,
fiPLS
、
biPLS
、
siPLS
、
ICO
及
iRF
方法是
iPLS
的衍生算法。
四、建模方法
近红外光谱
分析技术是一种间接分析技术,其成功应用依赖于良好的定性
/
定量分析模型。
近红外光谱
分析中,建模方法主要分为定量建模方法和定性建模方法两大类。常用的定量建模方法
[6]
主要有多元线性回归(
M
ultiple
l
inear
r
egression
,
MLR
)、主成分回归(
Principle component regression
,
PCR
)、偏最小二乘回归(
P
artial least squares regression
,
PLS
R
)、人工神经网络(
Artificial neural network
,
ANN
)、支持向量机回归(
S
upport vector regression
,
SVR
)、最小二乘支持向量机回归(
L
east squares support veotor regression
,
LSSV
R
)、核偏最小二乘(
kernel p
artial least squares
,
KPLS
)、极限学习机(
E
xtreme
l
earning
m
achine, ELM
)
[23]
等。其中,
MLR
、
PCR
及
PLS
R
均是基于线性回归的定量建模方法,而
ANN
、
SVR
、
LSSV
R
、
KPLS
及
ELM
则是基于非线性回归的定量建模方法。
定性建模方法主要分为无监督和有监督的模式识别方法两类。无监督的模式识别方法是一种事先对未知类别的样品分类,无需训练的分类方法。常用方法主要有最小生成树、
K
均值聚类分析、系统聚类分析、模糊聚类法及自组织神经网络(
S
elf-organizing neural network
,
SONN
)
[24]
。有监督的模式识别方法是利用已知类别的样本作为训练集,通过已知样本的训练和学习构建分类器。常用方法主要有最小距离判别、
K
最近邻法、线性判别分析(
Linear discriminant analysis
,
LDA
)、势函数判别法、簇类独立软模式方法(
Soft independent modeling of class analogy
,
SIMCA
)、
ANN
及支持向量机分类(
S
upport vector
classification
,
SVC
)等。
五、异常值识别与模型优化方法
异常样品对模型的稳健性会产生严重的干扰,在建模过程中需要进行剔除。异常样品一般分为两大类,第一类是高杠杆值样品,其光谱远离整体样品的平均光谱;第二类是预测值与参考值具有显著差异的样品,由参考值测量误差大、光谱测量误差大、参考值录入错误及模型不适用等原因造成。对于定量分析,一般可以采用马氏距离和杠杆值剔除第一类异常样品,利用学生化残差剔除第二类异常样品。对于定性分析,常采用
Hotelling
’
s
T
2
检验或
F
检验进行异常样品(光谱)的剔除。
在剔除异常样品后,需要对模型进行优化,即选择合适的主成分或变量数建立模型。若所用的主成分或变量数过少,则可能未能充分利用信息,模型会欠拟合,导致模型预测精度下降;而主成分或变量数过多,则可能引入噪声,导致模型过拟合,使得模型稳定性变差。在实际建模中,一般采用交互验证方法进行模型优化,并根据交互验证误差(
SECV
或
RMSECV
)或预测残差平方和(
PRESS
)最小来确定适宜的主成分或变量数。
在模型优化后,需要采用验证集样品对模型的有效性进行验证。验证集样品的选取一般要符合一定的要求。对于定量分析,一般采用验证标准误差(
SEV
)对校正模型有效性进行验证。对于定性分析,通常采用判别正确率对类模型的有效性进行验证。
具体的异常值识别、模型优化与有效性验证方法及验证样品选取标准参见国家标准
GB/T 29858
-2013
和
GB/T37969
-2019
。
六、模型传递方法
在
近红外光谱
分析中,由于两台仪器之间存在差异,使得同一样品在两台仪器上所获得的光谱存在差别,导致一台仪器上所建立的模型不能用于另外一台仪器。仪器间的差异包括不同型号仪器之间的差异和相同型号仪器之间的差异。对于不同型号的仪器,由于分光原理或采用的检测器等不同,导致波长范围、波长精度及光谱响应会存在差异。对于相同型号的仪器,由于加工工艺水平局限及仪器随时间老化等原因,也会使仪器波长及光谱响应存在差异。在许多应用领域中,建立模型是一项烦琐、重复的工作,浪费人力、物力等资源,而且有些情况下样品可能不易获得或不易保存,存在重新建模困难,需要采用数学方法解决仪器之间的模型适用性问题,称之为模型传递。
模型传递(
Model transfer
),也称仪器标准化(
Standardization of spectrometric instruments
)是指经过数学处理后,使一台仪器上的模型(称为源机,
Master
)能够用于另一台仪器(称为目标机,
Slave
),从而减少重新建模所带来的巨大工作量,实现样品和数据资源的共享。在确定仪器间光谱关系时,需要在两台仪器上同时测定某些样品的光谱,这些样品称为传递样品。根据是否需要传递样品,将模型传递分为无标样方法和有标样方法
[6]
。无标样方法在模型转移过程中不需要任何传递样品,主要以有限脉冲响应(
Finite impulse response
,
FIR
)算法为代表。有标样方法必须选择一定数量的样品组成标样集,并在源机和目标机上分别测得其信号,从而找出该函数关系。这类算法又分为两种,一是基于预测结果的校正,如斜率
/
偏差(
Slope/Bias
)算法;二是基于仪器所测光谱信号的校正,如直接校正(
Direct standardization
,
DS
)算法、分段直接校正(
Piecewise direct standardization
,
PDS
)算法和
Shenk
’
s
算法。此外,光谱空间转换(
SST
)算法,已证明是一种效果良好的方法,其主要通过主从光谱空间之间的转换消除测量条件变化或仪器引起的光谱差异。
相关话题
1
近红外光谱分析技术的特点
2
现代过程分析技术与近红外光谱技术
3
近红外光谱仪器的测量软件
4
近红外光谱的测量方式
5
常见的测量附件
近期热榜
迎国庆送壕礼!十月发帖抢大疆云台
【官方邀请】高效液相色谱使用情况有奖调研
喜迎国庆!第十七届原创大赛超级原创日参赛奖励翻倍
丹纳赫四十周年寄语征集领大礼包
热门活动
【售后专场--招聘会】
第三届微课大赛投票进行中ing
猜你喜欢
最新推荐
热门推荐
更多推荐
有参加第四届近红外光谱学术会议的吗
讨论
2012/09/26
为什么近红外光谱仪性能的一致性在近红外光谱分析网络化中很重要?
分享
2024/06/23
常规饲料生产企业选择近红外分析仪应注意哪些问题?
分享
2024/06/19
AOTF近红外仪到底成不成熟阿?
2004/12/28
热电好像在招近红外人员……
讨论
2014/10/21
【资料】近红外光谱法测定鱼粉中的挥发性盐基氮
2010/09/04
怎样把近红外光谱分析技术应用于药物结晶过程?
分享
2024/06/22
【号外】白送分给大家!还不来!?
2010/09/09
怎么才能确保光谱仪的检测准确性
分享
2024/09/24
参会指南|全国第十届近红外光谱学术会议
分享
2024/09/24
全国第十届近红外光谱学术会议日程公布
分享
2024/09/24
怎么确保光谱仪的检测准确性
分享
2024/09/23
近红外光谱分析技术的特点——优势
分享
2024/09/20
FIIF2024 饲料行业创新论坛——近红外光谱分论坛概况
分享
2024/08/12
近红外光谱仪是在什么背景下应用于市场局成品油快检领域。
原创
2024/07/30
纸质版《近红外光谱实战宝典》免费送!!!
原创
2024/07/17
实验室容量瓶、移液管等玻璃器皿检定
求助
2024/09/25
标准溶液该如何配置?
第十七届原创
2024/09/25
微量注射器用移液器检定规程出具证书,带CNAS logo,合理吗?
求助
2024/09/25
关于气相基线高一倍求助
求助
2024/09/24
浅谈培养基的技术性验收
第十七届原创
2024/09/25
如果计量器具较小,校准标签贴不开怎么办?
求助
2024/09/26
【求助】申请CNAS实验室认可,文审阶段老师提出我司的组织机构图中未体现有关部门对实验室的支撑关系。请问如何修改?
求助
2024/09/24
气象色谱仪显示ALS 故障代码 153是什么情况
求助
2024/09/27
为什么近红外光谱主要包含的是含氢基团的信息?
分享
2024/06/28
求助,帮忙看下图谱对不上的问题在哪里
已应助
2024/06/28
近红外光谱的氢键效应
分享
2024/06/28
问茉莉内脂都有哪些英文名称?有什么区别?例如Jasminlactone, Jasmolactone? delta和gamma异构体?
已应助
2024/06/28
帮忙下载一篇Modern Laser Scanning Confocal Microscopy
已应助
2024/06/28
星期五签到
原创
2024/06/28
请欣赏“植物大熊猫”崖柏
原创
2024/06/28
忽冷忽热的
原创
2024/06/28
品牌合作伙伴
丹纳赫苏州基地 打工人的梦想
岛津
日立科学仪器
珀金埃尔默仪器(上海)有限公司(PerkinElmer)
日本电子株式会社
丹纳赫
安捷伦
赛默飞世尔科技
普析通用
欧波同
天美
天瑞仪器
德国耶拿
海能技术
马尔文帕纳科
磐诺科技
上海仪电科仪
梅特勒托利多
聚光科技
莱伯泰科
盛瀚
多宁生物
丹东百特
科哲
卓立汉光
屹尧科技
华谱科仪
宝德仪器
优莱博
HORIBA
布鲁克核磁
举报帖子
执行举报
点赞用户
好友列表
加载中...
正在为您切换请稍后...