米乐游戏怎么官方注册：迈向医学领域的联邦大型语言模型：一种用于实现隐私保护与多机构适配的参数高效框架

发布时间：2026-08-17 16:07:53 | 作者: 米乐游戏怎么官方注册

米乐游戏中心：

  迈向医学领域的联邦大型语言模型：一种用于实现隐私保护与多机构适配的参数高效框架

  摘要大型语言模型正慢慢的变多地被应用于医疗领域，但由于隐私和监管方面的限制，大多数模型都是使用来自单一机构的数据来进行训练的，这导致了多机构数据共享的困难。因此，这些模型在面对不同的医疗系统时往往难以实现良好的泛化能力。未解决这一问题，我们提出了Fed-MedLoRA以及Fed-M

  大型语言模型正慢慢的变多地被应用于医疗领域，但由于隐私和监管方面的限制，大多数模型都是使用来自单一机构的数据来进行训练的，这导致了多机构数据共享的困难。因此，这些模型在面对不同的医疗系统时往往难以实现良好的泛化能力。未解决这一问题，我们提出了Fed-MedLoRA以及Fed-MedLoRA+这两种参数效率较高的联邦学习框架，用于实现跨医疗机构的协同模型优化。Fed-MedLoRA仅传输低秩适配器而非完整模型权重，以此来降低了通信开销。我们还评估了一种具有隐私保护功能的变体，该功能会对传输的适配器更新值施加高斯扰动。Fed-MedLoRA+则进一步引入了自适应聚合机制，以更好地应对不同医疗机构在患者群体、标注方式及疾病分布方面的差异。我们在五个独立的 patient队列上对该框架进行了测试，共涉及42,198个实体和41,570条关系，并将其与零样本训练的LLM、微调后的LLM、领域专用BERT模型以及传统的联邦学习办法来进行了比较。在所有测试条件下，所提出的方法均能提升信息提取性能，并且在面对不同结构的patient队列时具有更好的泛化能力。在一个基于耶鲁纽黑文卫生系统临床记录的真实案例研究中，该框架在资源有限的新环境中也展现了出色的性能。这些根据结果得出，参数效率高的联邦学习方法不仅可行且具备可扩展性，很适合多机构间的临床应用。