仪器信息网APP
选仪器、听讲座、看资讯
立即体验
APP内打开
回版面
1
收藏
点赞
拍砖
举报
取消
发布
当前位置:
仪器社区
>
认证认可专区
>
能力验证
>
帖子详情
【我们不一YOUNG】实验数据标准化处理方法
Ins_d6b56fa6
2024/07/16
私聊
能力验证
能力验证上报数据(n个数据)通过什么方法处理后进行的判定?这些问题都涉及数据标准化。
在数据分析之前,通常需要先将数据标准化(normalization),利用标准化后的数据进行数据分析。数据标准化也就是统计数据的指数化。
为什么要进行数据的标准化处理?
由于不同变量常常具有不同的单位和不同的变异程度。不同的单位常使系数的实践解释发生困难。例如:第1个变量的单位是kg,第2个变量的单位是cm,那么在计算绝对距离时将出现将两个事例中第1个变量观察值之差的绝对值(单位是kg)与第2个变量观察值之差的绝对值(单位是cm)相加的情况。使用者会说5kg的差异怎么可以与3cm的差异相加?不同变量自身具有相差较大的变异时,会使在计算出的关系系数中,不同变量所占的比重大不相同。例如如果第1个变量(两水稻品种米粒中的脂肪含量)的数值在2%到4%之间,而第2个变量(两水稻品种的亩产量)的数值范围都在1000与5000之间。为了消除量纲影响和变量自身变异大小和数值大小的影响,故将数据标准化。
数据标准化处理主要包括数据同趋化处理和无量纲化处理两个方面。数据同趋化处理主要解决不同性质数据问题,对不同性质指标直接加总不能正确反映不同作用力的综合结果,须先考虑改变逆指标数据性质,使所有指标对测评方案的作用力同趋化,再加总才能得出正确结果。数据无量纲化处理主要解决数据的可比性。数据标准化的方法有很多种,常用的有“最小—最大标准化”、“Z-score标准化”和“按小数定标标准化”等。经过上述标准化处理,原始数据均转换为无量纲化指标测评值,即各指标值都处于同一个数量级别上,可以进行综合测评分析。
一、Min-max 标准化
min-max标准化方法是对原始数据进行线性变换。设minA和maxA分别为属性A的最小值和最大值,将A的一个原始值x通过min-max标准化映射成在区间[0,1]中的值x',其公式为:
新数据=(原数据-极小值)/(极大值-极小值)
二、z-score 标准化
这种方法基于原始数据的均值(mean)和标准差(
standard deviation
)进行数据的标准化。将A的原始值x使用z-score标准化到x'。
z-score标准化方法适用于属性A的最大值和最小值未知的情况,或有超出取值范围的离群数据的情况。
新数据=(原数据-均值)/标准差
spss默认的标准化方法就是z-score标准化。
用Excel进行z-score标准化的方法:在Excel中没有现成的函数,需要自己分步计算,其实标准化的公式很简单。
步骤如下:
1.求出各变量(指标)的算术平均值(数学期望)xi和标准差si ;
2.进行标准化处理:
zij=(xij-xi)/si
其中:zij为标准化后的变量值;xij为实际变量值。
3.将逆指标前的正负号对调。
标准化后的变量值围绕0上下波动,大于0说明高于平均水平,小于0说明低于平均水平。
三、Decimal scaling小数定标标准化
这种方法通过移动数据的小数点位置来进行标准化。小数点移动多少位取决于属性A的取值中的最大绝对值。将属性A的原始值x使用decimal scaling标准化到x'的计算方法是:
x'=x/(10*j)
其中,j是满足条件的最小整数。
例如 假定A的值由-986到917,A的最大绝对值为986,为使用小数定标标准化,我们用1000(即,j=3)除以每个值,这样,-986被规范化为-0.986。
注意,标准化会对原始数据做出改变,因此需要保存所使用的标准化方法的参数,以便对后续的数据进行统一的标准化。
相关话题
1
【我们不一YOUNG】+能力验证究竟应该由谁做?
2
能力验证在没有实施之前还能退吗?
3
每次能力验证都有补测机会吗?
4
【我们不一YOUNG】+实验室在组织实验室间比对时应如何选择参比对象?
5
实验室内部质控的结果分析能引用《能力验证规则》中的方法吗?
+关注
私聊
独行者
第1楼
2024/07/19
应助达人
标准差和四方位差计算方法一样吗?
0
发表回复
近期热榜
一个“不符合”难住新领导
【中秋佳节】 在一起月更圆!
国农验证-重金属能力验证经验分享
第三届微课大赛投票进行中ing
热门活动
第三届微课大赛投票进行中ing
【仪采通】仪器采购更轻松
猜你喜欢
最新推荐
热门推荐
更多推荐
【讨论】T0502白酒中的铅、锰能力认证交流
2010/06/23
能力验证报名时同一个计划(只有一个检测项目)显示两个不同领域,评审时是算一个领域,还是两个领域都算
已应助
2023/12/08
认监委发布2016年能力验证计划
分享
2016/05/11
参加能力验证得到有问题结果,可否利用其结果申请认可
分享
2023/08/21
2015年 IQTC15C01 玩具油漆涂层中总铅含量的测定
讨论
2015/04/13
德国标物局DRRR 2021年度能力验证类别(超全,已上传目录)
分享
2020/12/03
青岛海关技术中心关于邀请参加 2022 年猪肉粉中克伦特罗、莱克多巴胺、沙丁胺醇 含量测定能力验证的函
分享
2022/08/02
【分享】合格评定讲座-第三讲
2007/04/21
【金秋计划】实验室方法验证的信息化管理
分享
2024/09/12
【金秋计划】质量控制的方式、样品和频次
分享
2024/09/08
用测试强力的均匀性样品进行色牢度测试项目的质控,能否保证样品的均匀性和一致性?
求助
2024/09/07
【金秋计划】+实验室能力验证盲样考核怎么做?
分享
2024/09/06
【金秋计划】+八步做好盲样测试?
分享
2024/09/06
实验室质量控制该怎么做?
分享
2024/09/05
应对新版CNAS《能力验证规则》,实验室要做哪些调整?
分享
2024/09/03
【金秋计划】+内部质控使用的质控样来源都是有哪些?
第十七届原创
2024/09/03
检测证书加盖CNAS标识的疑问
求助
2024/09/05
报告防伪都有哪些方式?
求助
2024/09/06
请教一下各位老师,一个样品(聚合物)GPC出现这样双峰,应该是如何计算
求助
2024/09/06
建筑涂料和漆类中VOC测定
求助
2024/09/06
赛默飞气相TRACE1300 FPD检测器上出现结晶颗粒物是怎么原因?
求助
2024/09/10
扫描电镜的使用对于怀孕前三个月的危害
已应助
2024/09/08
氧化乐果出峰小
求助
2024/09/05
环境检测仪器的校准技术问题?cnas认可范围问题?
求助
2024/09/05
【我们不一YOUNG】交通运输部办公厅《中华人民共和国船舶及其有关作业活动污染海洋环境防治管理规定(修订征求意见稿)》公开征求意见
分享
2024/07/16
【我们不一YOUNG】如何高效做有机实验
分享
2024/07/16
【我们不一YOUNG】生态环境部环评司有关负责人就《生态环境分区管控管理暂行规定》答记者问
分享
2024/07/16
【我们不一YOUNG】实验室仪器常见的除尘与清洗方法
分享
2024/07/16
我要测事业部技术部今日正在招聘,售后服务工程师,坐标沈阳市,高薪寻找不一样的你!
原创
2024/07/16
仪器计量校准的三方机构介绍-天溯计量
分享
2024/07/16
【我们不一YOUNG】实验室仪器档案管理问题的解决对策
分享
2024/07/16
【我们不一YOUNG】实验室仪器设备档案管理中存在的问题
分享
2024/07/16
品牌合作伙伴
岛津
日立科学仪器
珀金埃尔默仪器(上海)有限公司(PerkinElmer)
日本电子株式会社
丹纳赫
安捷伦
赛默飞世尔科技
普析通用
欧波同
天美
天瑞仪器
德国耶拿
海能技术
马尔文帕纳科
磐诺科技
上海仪电科仪
梅特勒托利多
聚光科技
莱伯泰科
盛瀚
多宁生物
丹东百特
科哲
卓立汉光
屹尧科技
华谱科仪
宝德仪器
优莱博
HORIBA
布鲁克核磁
举报帖子
执行举报
点赞用户
好友列表
加载中...
正在为您切换请稍后...