仪器信息网APP
选仪器、听讲座、看资讯
立即体验
APP内打开
回版面
评论
收藏
点赞
拍砖
举报
取消
发布
当前位置:
仪器社区
>
药物检测
>
中药/天然药检测
>
帖子详情
【金秋计划】中医药LLM的关键技术与方法
城头变幻大王骑
2024/09/05
私聊
中药/天然药检测
1.1
数据存储
中医药领域涉及大量的数据,在中医药
LLM
的构建过程中,数据存储技术具有重要作用,其不仅确保了数据的安全存储,还为模型的高效训练和深度分析提供了强有力的支持。为了有效支持
LLM
的训练需求,需要采用多种高效的数据存储和管理技术,如分布式文件系统(
Hadoop
的
HDFS
、
Google
的
GFS
,以其高吞吐量的数据访问能力,可为大规模数据集提供高效的存取解决方案)、对象存储系统(
Amazon S3
、
Google Cloud Storage
具有极高的扩展性和全球访问能力,适用于大量静态数据的存储)。
1.2
数据处理
为构建功能强大的中医药大模型,研究者需从多元化的数据源中收集大量数据,然后通过数据清洗、词元化及数据调度等步骤进行数据处理,具体流程见图
2
。数据清洗通过去除数据集中的噪声、不相关信息、敏感内容及重复条目,确保训练数据的纯净度和准确性,实现数据质量的严格控制。词元化过程将文本数据分解为更小的单元,提升模型对文本的理解和处理效率,增强模型捕捉语言细微差别的能力。数据调度环节至关重要,涉及高效合理地安排数据处理的时间和顺序,确保模型能够快速吸收和学习数据中的关键信息。
1.3
检索增强生成
(
retrieval-augmented generation
,
RAG
)
RAG
作为一种结合检索和生成的技术,为提高模型在特定任务上的表现和效率提供了新视角
[10]
。
RAG
采用向量化技术将文档库中的文档转化为向量,在这些向量上构建高效索引系统
[11]
,具体构建流程见图
3
。
RAG
技术通过有效融合检索和生成过程,能够在回答复杂问题时提供更深入、更具体的信息,提升了内容的相关性与准确性
[12]
。
在中医药领域,
RAG
技术通过结合现代信息检索系统和自然语言处理技术,可以高效的从海量中医药文献和临床数据中提取与特定病证或药物相关的信息,进而促进中医药病例分析、药物配伍及治疗效果评估等领域的发展
[13-15]
。然而,
RAG
对检索系统的依赖性较强,模型的表现在很大程度上依赖于底层检索系统的效果,且
RAG
系统在训练和推理阶段计算成本较高,其在实际应用中的广泛性和实时性会受到影响
[16]
。
1.4
人类反馈强化学习
(
reinforcement learning from human feedback
,
RLHF
)
RLHF
是一种结合了传统强化学习算法和人类反馈的技术,用于改进
LLM
的行为和决策过程
[17-18]
。
通过数据收集、奖励设计、模型训练、策略迭代,
RLHF
可有效提升模型的性能,其工作原理见图
4
。在中医药领域,名老中医的丰富经验与用户反馈被整合进
RLHF
,进一步增强了
LLM
在智能问诊、知识问答、药方推荐及养生建议方面的准确性和实用性。这种方法不仅提升了中医药
LLM
的应用效果,
也保证了其在复杂临床场景中的适应性和有效性。具体而言,
RLHF
整合人类直觉和偏好优化语言模型,使模型能够适应复杂和不确定的任务,更好地反映人类的价值观和期望,从而提高模型的适应性。为了增强
LLM
与人类价值观的一致性,
RLHF
通过利用人类反馈数据来指导模型微调,从而在多个标准上实现与人类的对齐。该过程首先需要收集人类对不同模型输出的偏好,然后使用这些反馈数据训练奖励模型,最后基于奖励模型运用强化学习算法对
LLM
进行微调。
RLHF
支持细粒度的优化,允许模型在执行特定任务时,如文本生成和对话交互,更精确地调整行为以满足用户特定偏好
[19]
。这种方法不仅提升了模型的实用性,而且为模型的定制化和迭代开发提供了极大的灵活性和可扩展性。
然而,
RLHF
在使语言模型与人类意图保持一致的过程中也面临挑战。
RLHF
依赖的数据及其标注的复杂性引入了多种主观因素,如标注者偏好和研究设计等,可能导致模型输出与实际用户需求之间存在偏差
[20]
。因此,尽管
RLHF
在提高模型适应性方面具有显著优势,但仍需谨慎处理这些潜在的偏差问题,以确保模型的输出能够真正符合用户需求。
1.5
混合专家系统
(
mixture of experts
,
MoE
)
MoE
通过整合规则推理、神经网络、机器学习和模糊逻辑等技术,形成能够处理复杂和不确定问题的系统
[21]
,具体原理见图
5
。
MoE
通常包括知识处理模块、推理机制模块和学习模块。每个模块专注于处理特定类型的任务,通过动态调度协同工作,以实现最优决策。
MoE
的自我学习和适应性使其能够从新的数据和经验中不断学习和优化,从而提高决策的效率和质量
[22]
。在中医药
LLM
中,
MoE
通
过整合传统中医知识和现代医学研究结果,能够处理诊断和治疗中的不确定性问题,并吸纳新的临床研究结果和患者反馈,不断优化和更新治疗策略,使中医药
LLM
的应用更加精准、高效。具体而言,
MoE
可以有效整合不同的决策支持技术来增强模型的理解和生成能力
[23]
,在处理自然语言的模糊性和复杂性问题时提供更加精准和鲁性棒的决策支持
[24]
,
从而提高模型在复杂语境中的应用效率,增强模型对新情况的适应能力和学习速度
[25]
。
1.6
知识蒸馏
知识蒸馏是一种模型压缩技术,其基本原理是将大型、复杂的教师模型学到的知识传递给小型、结构简单的学生模型
[26]
,具体原理见图
6
。在知识蒸馏过程中,通常使用教师模型的输出指导学生模型的训练,从而使学生模型能够模仿教师模型的行为。通过这种方式,学生模型可以从教师模型中蒸馏出丰富的知识,包括数据分布、模式和规律等,从而达到在学生模型上实现与教师模型相似甚至更好性能的效果。
在
LLM
开发领域,知识蒸馏主要用于减少模
型的规模、算力需求和能耗,同时尽量保持模型的性能
[27]
。如通过从
1
个几十亿参数的
LLM
中蒸馏出只有几百万参数的模型,可以显著降低部署成本和提高运行速度,同时在任务性能上保持接近原始
LLM
的效果
[28]
。
中医药系统包含大量的复杂知识和临床实践数据,传统的
LLM
往往需要庞大的计算资源来处理这些信息。通过知识蒸馏技术,可以有效地将复杂的中医药知识和临床经验从大型教师模型转移到更小、更高效的学生模型中,有助于在有限的计算资源下提供快速、准确的中医药诊断和治疗建议,促进中医药知识的更广泛传播和应用。此外,知识蒸馏还有助于解决中医药数据稀疏性和不均匀性问题,通过从
LLM
中提取和压缩关键信息,学生模型能够更好地处理和理解分散的中医药数据,从而提高诊断的准确性和治疗的个性化推荐。这种方法不仅提高了中医药
LLM
的实用性和访问性,还增强了其在实际临床环境中的应用效率和效果。
1.7
LLM
训练微调方法
1.7.1
预训练
LLM
的预训练策略主要通过在广泛的语料库上进行无监督学习,使模型掌握语言的通用模式和结构。这一过程通常涉及预训练和微调
2
个阶段。在预训练阶段,
LLM
通过大量文本进行训练,以学习语言的基本语法、语义和上下文关系。掩码语言建模
[29]
和下一句预测
[30]
是
2
种在自然语言处理领域中广泛使用的预训练任务,能够帮助模型捕捉词之间的依赖关系和句子间的逻辑关系。
1.7.2
微调与对齐
大型语言模型的微调是针对特定任务调整预训练模型的过程,旨在通过细微调整模型的参数来适应具体应用,从而提高任务相关性能
[31]
。微调通常在较小的、特定任务的数据集上进行,使用与预训练阶段相同的或修改后的损失函数,加快模型的训练速度。
监督微调是
LLM
微调中一种关键的优化策略。监督微调在预训练阶段后,利用带标签的数据集进行的定向训练,通过反向传播和梯度下降方法调整模型权重,以减小预测输出与实际标签间的误差
[32]
。
监督微调充分利用了预训练模型的语言处理能力,提升模型在具体任务上的专业适应性和准确性。在实际应用中,监督微调能够实现
LLM
的高效性能提升,为深入研究
LLM
在各领域中的应用提供了重要的技术支持
[33-34]
。
在
LLM
构建中,指令微调是常用的微调方法
[35]
。
指令微调需要首先收集或构建指令化的实例,然后通过有监督的方式对
LLM
的参数进行微调。经过指令微调后,
LLM
能够展现出较强的指令遵循能力,能够通过零样本学习方式解决多种下游任务
[36]
。
低秩适配器(
low-rank adaptation
,
LoRA
)作为一种参数高效的微调技术,在
LLM
微调中受到广泛关注。
LoRA
通过在预训练模型的参数矩阵中引入低秩分解矩阵,实现对模型各层参数的近似更新,维持模型性能并且显著降低了针对特定下游任务的训练参数量
[37]
。与传统的全参数微调方法相比,
LoRA
提供了一种成本效益较高的替代方案,被广泛用于
LLM
的高效微调
[38]
。
人类对齐是在微调过程中确保学习的表示与特定任务需求保持一致的过程,旨在保证
LLM
的行为与人类期望和价值观一致。在
LLM
的预训练和监督微调的过程中,主要训练目标是根据上下文内容来预测下一个词元。但是,这一过程并未充分考虑人类的价值观或偏好,可能导致
LLM
从数据中学习到不符合人类期望的生成模式
[39]
。人类对齐确保了不同语言之间的语义和语法结构能够相互转换,保持表征的有效性和一致性。这些过程使得大型模型在各种应用中都能达到较高的精度和适应性,同时保持了预训练阶段获得的丰富知识。
1.8
LLM
评估方法
在评估
LLM
的能力时,研究者需综合多个维度考察其性能,包括通过多种任务来测试模型的泛化能力,并且根据不同的应用场景,选择恰当的评价指标以确保性能的精确测量。表
1
展示了不同分类任务的常用评价指标,这些指标确保了评估过程的严谨性和模型性能评价的有效性。
相关话题
1
【金秋计划】角蒿属药用植物叶绿体基因组比较及系统发育分析
2
【金秋计划】基于质量源于设计理念结合模糊层次分析法-熵权法优化羟丙甲基纤维素改善栀子水提物可压性研究
3
【金秋计划】基于“功效成分群”动态传递规律的盘龙七片质量标志物(Q-Marker)筛选
4
【金秋计划】HPLC-ABTS-DAD-ESI-TOF/MS在线筛选柴银颗粒抗氧化成分及指纹图谱研究
5
【金秋计划】泽泻-白术药对及其活性成分防治动脉粥样硬化研究进展
近期热榜
【官方邀请】高效液相色谱使用情况有奖调研
【中秋佳节】 在一起月更圆!
一个“不符合”难住新领导
第三届微课大赛投票进行中ing
热门活动
第三届微课大赛投票进行中ing
【仪采通】仪器采购更轻松
猜你喜欢
最新推荐
热门推荐
更多推荐
硫磺熏蒸中药,元芳你怎么看
2013/05/30
【金秋计划】基于Wnt/β-catenin通路探究对叶百部碱抗卵巢癌的作用机制
分享
2024/09/08
【讨论】如何对设施与设备共用的可行性进行评估?
2011/05/19
请问水牛角代替犀牛角应该增加用量多少
求助
2012/06/14
[补]原创倒计时药分赛区特别奖励,请土老冒豆豆进来领奖~
分享
2012/01/04
磷含量测定
原创
2023/08/24
【求助】关于中药萃取乳化
2010/03/23
奖励wangshirf版主8月原创200积分
原创
2014/10/05
中药颗粒剂的如何质量控制?
第十七届原创
2024/09/18
桃核承气汤激活Nrf2抑制铁死亡改善脓毒症所致心功能障碍
分享
2024/09/18
七叶苷激活Nrf2/GPX4通路抑制铁死亡治疗肝纤维化
分享
2024/09/18
白头翁皂苷B4衍生物靶向丙酮酸羧化酶改善结肠炎
分享
2024/09/18
当归中发现有效抗骨质疏松分子及化学全合成
分享
2024/09/18
青蒿素衍生物靶向脂质代谢关键蛋白诱导铁死亡
分享
2024/09/18
黄芪甲苷III靶向激活RXRa改善心力衰竭
分享
2024/09/18
益母草碱缓解情志应激导致的帕金森病“易感性”
分享
2024/09/18
【金秋计划】当没有合适的基质时可以用标准加入法来试试看
第十七届原创
2024/09/13
原子吸收火焰法测定土壤中六价铬所用质控样值一直在衰减
求助
2024/09/12
关气瓶是先关总阀还是先关减压阀?
求助
2024/09/14
基线(随机出现)突跃有哪些原因?
求助
2024/09/12
数据和结果
求助
2024/09/11
液质有什么好项目可以做
讨论
2024/09/11
委托加工,条形码到底该用谁的?
求助
2024/09/13
恒温振荡器如何校准?
已应助
2024/09/13
【金秋计划】 瑶药老班药的现代研究
分享
2024/09/05
【金秋计划】王不留行环肽B逆转前列腺癌C4-2细胞激素非依赖性生长及作用机制
分享
2024/09/05
【金秋计划】何首乌的炮制沿革和现代何首乌炮制研究
分享
2024/09/05
【金秋计划】+随机误差分布规律和有限数据的统计处理
分享
2024/09/05
气相色谱出现连续性杂峰,继续进样的话,连续性杂峰出峰时间逐渐提前
原创
2024/09/05
【金秋计划】安神补脑液制备工艺与质量标准
分享
2024/09/05
【金秋计划】+回收率(加标回收率)相关内容总结
分享
2024/09/05
【金秋计划】+检出限相关知识
分享
2024/09/05
品牌合作伙伴
岛津
日立科学仪器
珀金埃尔默仪器(上海)有限公司(PerkinElmer)
日本电子株式会社
丹纳赫
安捷伦
赛默飞世尔科技
普析通用
欧波同
天美
天瑞仪器
德国耶拿
海能技术
马尔文帕纳科
磐诺科技
上海仪电科仪
梅特勒托利多
聚光科技
莱伯泰科
盛瀚
多宁生物
丹东百特
科哲
卓立汉光
屹尧科技
华谱科仪
宝德仪器
优莱博
HORIBA
布鲁克核磁
举报帖子
执行举报
点赞用户
好友列表
加载中...
正在为您切换请稍后...