仪器信息网APP
选仪器、听讲座、看资讯

关于标称值的有效位数(小数点位数)

  • Ins_33dac784
    2024/09/30
  • 私聊

实验室认可/资质认定

  • 请教各位老师,如果一个产品的输出电压标称值为220V,实际测试时用仪表测到的电压为220.6V,现在要计算相对偏差(220.6-220)/220,下面哪种计算是符合有效数字运算规则的?谢谢!
    1、将标称值220V的小数点位数视为无穷位,220.6-220视为220.6-220.00000......,由于分子是加减运算,结果要按小数点位数最少的保留,因此,分子计算结果为0.6;分母视为220.00000.....,乘除运算的结果按有效位数最少的保留,因此相对偏差0.6/220.00000......的结果0.00272727......,保留1位有效数字(因为分子0.6有效数字为1位,比分母有效位数少),最终结果为0.3%。
    2、将标称值220V视为不带小数点的整数,则分子220.6-220加减后计算结果也保留为整数,分子得1,分母为220,所以相对偏差1/220的结果0.00454545......,最终保留1位有效数字,得0.5%。
    +关注 私聊
  • 独行者

    第1楼2024/09/30

    应助达人

    我个人感觉第一种比较合适一些,因为第二种有点像两次修约了,这样是不合理的。如果计算的话起码应该保持数值的修约位数一致才对。从内控的角度来看可以从严把控。

0
猜你喜欢最新推荐热门推荐更多推荐
举报帖子

执行举报

点赞用户
好友列表
加载中...
正在为您切换请稍后...