仪器信息网APP
选仪器、听讲座、看资讯
立即体验
APP内打开
回版面
评论
收藏
点赞
拍砖
举报
取消
发布
当前位置:
仪器社区
>
光谱
>
近红外光谱(NIR)
>
帖子详情
近红外光谱分析与化学计量学方法
Ins_29253308
2024/06/24
私聊
近红外光谱(NIR)
在
近红外光谱
技术发展初期,由于数据处理方法的局限性,难以分离或提取近红外重叠谱峰中的有用光谱信息,其光谱数据可利用率低,导致该技术不受重视,一度进入沉默期。
20
世纪
60
年代以来,
Norris
利用
近红外光谱
技术在农产品品质分析中做了大量的工作,利用多元线性回归建立定标模型,但仍无法提取与物质成分含量相关的光谱信息,并给予合理的光谱解析。此外,也难以合理解释样品大小及颗粒度等影响所导致的光谱不稳定性。因此,近红外
光谱技术被称为
“黑匣子”技术。
直到
20
世纪
80
年代,化学计量学迅速发展,
多元校正及模型识别等方法被逐步引入到
近红外光谱
解析和定标模型建立中,使得
近红外光谱
技术真正达到了定标理论与实践的统一,并推动了
近红外光谱
技术和化学计量学的并肩发展。目前,化学计量学是
近红外光谱
技术密不可分的一部分,主要包括光谱预处理方法、变量选择方法、定性定量建模方法、异常值的统计识别与模型优化方法、以及模型传递方法。
一、样品的分组方法及选择标准
代表性样品的选取对于建立良好的定量定性模型非常重要。在获取代表性样品后,通常需要将样品分为校正集和验证集。对于样品的分组,常用的方法主要有
Kennard-Stone
(
K-S
)方法和
SPXY
方法。
K-S
方法主要是基于光谱变量之间的欧式距离,在特征空间中均匀选取样品,但样品选取时没有考虑样品浓度的影响。
SPXY
方法在
K-S
方法的基础上提出,综合考虑了样品光谱和浓度的距离进行样品选取。
对于校正集和验证集样品,其选择需要满足一定的参考标准。如校正集中的样品需要有较广的浓度范围,能覆盖待测样品可能出现的浓度范围,以保证待测样品的预测是通过模型内插分析而获得。此外,当建模所用的变量数为K
(K
>3
)时,校正集样品的数量一般要不少于6K
。详细的校正集和验证集样品选择标准请参考国家标准
GB/T 29858
-2013
。
二、光谱预处理方法
近红外光谱
除了含有样品本身的物理结构与化学成分信息外,还会引入由仪器暗电流、样品背景与状态、杂散光、环境变化等因素引起的各类光谱噪声。因此,在建模分析前,需要对所采集的
近红外光谱
数据进行预处理,以尽可能地消除光谱噪声的影响。按光谱预处理方法的作用分,主要为基校线正、散射
主要包括移动平均平滑、
Savitzky-Golay
卷积平滑、高斯滤波
(
G
aussian filter
)
平滑、中值滤波
(
M
edian filter
)
平滑等,用于降低光谱的随机噪声,提高光谱
严重的数据冗余,直接利用所有变量来建模分析,会造成模型的过拟合,使模型的稳定性变差。因此,需要采用变量选择方法剔除冗余波长变量,筛选有用的特征波长变量。目前,变量选择方法主要有基于波长点的变量选择方法和基于波长区间的变量选择方法。
基于波长点的变量选择方法是将每一个波长作为一个变量,获取一系列的波长变量子集,并从变量子集中选择最优的波长变量组合。常用的变量选择方法
[6]
主要有无信息变量消除(
UVE
)、连续投影算法(
SPA
)、遗传算法(
G
校正、平滑校正及尺度缩放四类。
基线校正方法主要包括一阶导数、二阶导数及小波变换
(
W
avelet transform
,
WT
)
等。一阶导数主要用于消除光谱基线的平移,二阶导数主要用于消除光谱基线的漂移。小波变换则是通过扣除原始光谱信号的低频成分实现基线校正。散射校正方法主要包括多元散射校正
(
M
ultiplicative scatter correction
,
MSC
)
和标准正态变量变换
(
S
tandard normal variate transform
,
SNV
)
,主要用于消除由于颗粒大小和分布均匀度不同所产生的散射对光谱的影响。平滑校正方法信噪比。尺度缩放方法主要包括中心化变换
(
M
ean centering
)
、
标准化变换(
A
uto scaling
)、最大最小归一化(
Min-max scaling
)、
Pareto
尺度化等,用于消除尺度
差异过大带来的影响。
三、光谱变量选择方法
近红外光谱
数据变量众多,往往有几百甚至上千个波长变量,存在着
A
)、竞争性自适应重加权采样(
CARS
)
[17]
、变量投影重要性(
VIP
)
[18]
、模拟退火算法(
SA
)、粒子群优化算法(
PSO
)、蚁群优化算法(
ACO
)、迭代保留有效变量(
IRIV
)
[19]
、自举柔性收缩算法(
BOSS
)
[20]
等。
基于波长区间的变量选择方法是将光谱波长区间作为一个处理单元(变
量),获取一系列波长区间的组合,从中选择最优的波长区间组合。常用的变量选择方法主要有区间偏最小二乘(
iPLS
)、前向偏最小二乘(
fiPLS
)、反向偏最小二乘(
biPLS
)、区间组合偏最小二乘(
siPLS
)、移动窗偏最小二乘(
MWPLS
)、区间组合优化法(
ICO
)
[21]
及区间蛙跳算法(
iRF
)
[22]
等。其中,
fiPLS
、
biPLS
、
siPLS
、
ICO
及
iRF
方法是
iPLS
的衍生算法。
四、建模方法
近红外光谱
分析技术是一种间接分析技术,其成功应用依赖于良好的定性
/
定量分析模型。
近红外光谱
分析中,建模方法主要分为定量建模方法和定性建模方法两大类。常用的定量建模方法
[6]
主要有多元线性回归(
M
ultiple
l
inear
r
egression
,
MLR
)、主成分回归(
Principle component regression
,
PCR
)、偏最小二乘回归(
P
artial least squares regression
,
PLS
R
)、人工神经网络(
Artificial neural network
,
ANN
)、支持向量机回归(
S
upport vector regression
,
SVR
)、最小二乘支持向量机回归(
L
east squares support veotor regression
,
LSSV
R
)、核偏最小二乘(
kernel p
artial least squares
,
KPLS
)、极限学习机(
E
xtreme
l
earning
m
achine, ELM
)
[23]
等。其中,
MLR
、
PCR
及
PLS
R
均是基于线性回归的定量建模方法,而
ANN
、
SVR
、
LSSV
R
、
KPLS
及
ELM
则是基于非线性回归的定量建模方法。
定性建模方法主要分为无监督和有监督的模式识别方法两类。无监督的模式识别方法是一种事先对未知类别的样品分类,无需训练的分类方法。常用方法主要有最小生成树、
K
均值聚类分析、系统聚类分析、模糊聚类法及自组织神经网络(
S
elf-organizing neural network
,
SONN
)
[24]
。有监督的模式识别方法是利用已知类别的样本作为训练集,通过已知样本的训练和学习建分类器。常用方法主要有最小距离判别、
K
最近邻法、线性判别分析(
Linear discriminant analysis
,
LDA
)、势函数判别法、簇类独立软模式方法(
Soft independent modeling of class analogy
,
SIMCA
)、
ANN
及支持向量机分类(
S
upport vector
classification
,
SVC
)等。
相关话题
1
异常值识别与模型优化方法
2
模型传递方法
3
近红外光谱分析技术的特点
4
现代过程分析技术与近红外光谱技术
5
近红外光谱分析技术展望
近期热榜
【七月征文】不一YOUNG实验“猿”
报名开启:ICS2024第十三届光谱网络会议!
巡检超百家 丹纳赫集团参与第四届客户关怀季
推荐收藏!盘点中药材及饮片检测解决方案
热门活动
甄选国优仪器,助推设备更新
采购咨询618活动:1000元奖励等你拿
猜你喜欢
最新推荐
热门推荐
更多推荐
【求助】关于近红外积分球的疑问
2010/05/25
近红外检测
已应助
2021/07/14
【求助】便携式的近红外光谱仪用什么进行供电啊
2008/09/17
模型传递方法
分享
2024/06/24
近红外光谱分析应用论文
2004/06/29
近红外分析技术
2003/03/14
近红外光谱的测量方式
分享
2024/06/28
【求助】求近红外高手帮忙
2010/05/26
VK1S38A带键盘扫描可上电复位的LED数显驱动芯片键盘扫描等电路
分享
2024/07/02
近红外光谱仪产品手册分享
分享
2024/06/30
在近红外定量分析中,验证模型有效性需要注意些什么?为什么很重要?
分享
2024/06/28
近红外光谱技术在石油和化工领域的应用
分享
2024/06/28
在实际应用中,采用近红外光谱仪分析饲料中的水分、蛋白、脂肪、灰分和湿化学法分析有多大误差?
分享
2024/06/28
商品化的化学计量学软件
分享
2024/06/28
定量分析建模的主要步骤
分享
2024/06/28
光谱预处理方法
分享
2024/06/28
能力验证频次
求助
2024/06/27
求助大佬!苯系物和氯代烃可以只用一个检测器吗?
求助
2024/06/26
环保设备为催化燃烧装置,监测固定源废气非甲、二氧化硫、氮氧化物。 是否需要保证催化燃烧装置脱附状态下时才进行检测?才算有效?
已应助
2024/06/27
求助,非甲烷总烃测定中,除烃空气0.4mg/m3,怎么计算的呢?是按总烃计算公式吗?
求助
2024/06/29
检测报告一定要有判定结果吗?
求助
2024/07/01
实验室检测记录能否使用Excel保存
求助
2024/06/28
仪器点火失败
求助
2024/06/28
化学实验室PH测试要求10-30摄氏度,但是室内温度已经超过30度了,这个结果是可信的吗?
讨论
2024/06/26
光谱图像怎样采集
分享
2024/06/24
深度学习算法可用于近红外光谱成像分析领域的哪些方面?
分享
2024/06/24
近红外光谱成像分析中传统机器学习算法有哪些?
分享
2024/06/24
常见的近红外光谱图像感兴趣区域提取方法有哪些?
分享
2024/06/24
常见的近红外光谱图像特征融合处理和分析方法有哪些?
分享
2024/06/24
实验室对气瓶室设置有何要求?
求助
2024/06/24
快暑假了吧
原创
2024/06/24
【官方发布】某省药品生产环节许可检查常见问题汇总
资料
2024/06/24
品牌合作伙伴
岛津
日立科学仪器
珀金埃尔默仪器(上海)有限公司(PerkinElmer)
日本电子株式会社
丹纳赫
安捷伦
赛默飞世尔科技
普析通用
欧波同
天美
天瑞仪器
德国耶拿
海能技术
马尔文帕纳科
磐诺科技
上海仪电科仪
梅特勒托利多
聚光科技
莱伯泰科
盛瀚
多宁生物
丹东百特
科哲
卓立汉光
屹尧科技
华谱科仪
宝德仪器
优莱博
HORIBA
布鲁克核磁
举报帖子
执行举报
点赞用户
好友列表
加载中...
正在为您切换请稍后...