图片

本文介绍了“玛拉德”，一个基于大语言模型 (LLM) 的多智能体检索增强生成(RAG)系统，用于从药物标签数据中提取药物不良事件 (ADE)。“玛拉德”采用了一种独特的方法，通过将相关信息从文本资源中提取出来并添加到大语言模型的查询中，来增强大语言模型的能力，从而使其能够生成与增强数据一致的响应。

 

药物警戒是指在药物上市后识别和预防药物不良事件的科学。药物警戒对制药行业和公众健康至关重要，因为它旨在通过检测新的安全问题并在必要时进行干预来保障患者的健康与福祉。药物不良事件提取是药物警戒中的一个核心问题，即给定一个药物类别C 和一个不良事件E，确定C是否（以及在多大程度上）与E相关。这项任务需要分析来自各种来源的庞大文本数据，例如患者病历、临床记录、社交媒体、自发报告系统、药物标签、医学文献和临床试验报告。除了这些来源的文本量巨大之外，药物不良事件提取还受到药物和结果名称变化的影响，以及药物不良事件描述通常隐藏在大量叙述性文本中的事实。

 

图片

传统方法的局限性
传统上，各种经典的自然语言处理 (NLP) 和深度学习技术已被用于解决这个问题。与经典的自然语言处理方法相比，当今最先进的大语言模型在文本理解和生成能力方面取得了显著进步。然而，将大语言模型应用于药物不良事件提取的早期尝试仅利用了现成的 ChatGPT，其性能有限，提取理由也不一致。这些限制主要源于两个因素：

 

1、准确的药物不良事件提取需要访问大语言模型在预训练期间可能没有“见过”的特定数据源，因此依赖大语言模型的“内置”知识会导致结果不准确。

 

2、大语言模型作为概率性的下一个词预测器，如果在没有仔细将任务分解成更简单的子任务或没有机制来验证和纠正其响应的情况下，它们可能会产生不正确或不可靠的结果。

 

图片

“玛拉德”的创新
为了解决这些限制，本文提出了“玛拉德”（用于药物不良事件提取的多智能体大语言模型系统），这是一个有效的检索增强生成系统。“玛拉德”利用两种关键技术来分别解决上述两个局限：

 

1、检索增强生成技术：通过将相关信息从外部知识库中提取出来并添加到输入查询中，为大语言模型提供最新的知识，并指示大语言模型生成与增强数据一致的响应。

 

2、多智能体协同：将药物不良事件提取任务分解成更小的子任务，并使用多个大语言模型智能体来执行这些子任务。

 

“玛拉德”的架构

 

“玛拉德”采用了一种多智能体架构，包括以下智能体：

 

1、“药物发现者”：从医学数据库（例如 MIMIC-IV）中识别每个药物类别的代表性药物。

 

2、“药物智能体“：从外部文本知识库（例如 FDA 药物标签数据库）中收集这些药物的副作用信息。

 

3、“分类智能体”：综合所有信息，生成关于药物类别对不良事件影响的最终答案。

 

每个智能体都负责一个特定的子任务，并与其它智能体协作以完成药物不良事件识别的最终目标。此外，“玛拉德” 还通过将每个智能体与一个批评者智能体配对来进一步提高系统的可靠性。批评者智能体的作用是验证其对应智能体的行为和响应。

 

图片

“玛拉德”的优势
“玛拉德”具有以下优势：

 

1、精确评估：“玛拉德”不仅生成一个二进制标签来指示药物类别C是否与不良事件E相关，还生成不同的分数，包括一个置信度分数，指示大语言模型对其标签分配的置信度。这些分数允许对药物不良事件与常见药物类别相关的“观察性医疗结果伙伴关系” 基本事实表进行严格的定量评估。

 

2、基于证据的响应和理由生成：“玛拉德”的设计提供了对药物不良事件识别等高风险应用至关重要的关键功能：

 

●结构化的药物-结果关联格式，包括指示关联强度和不良事件罕见性的分数。

 

●提取的药物-结果关联的理由，允许人类专家理解和验证关联。

 

●可观察性，即所有智能体对话和中间步骤的完整详细日志，这对于调试和审计系统的行为至关重要。

 

3、可推广的机器学习见解：“玛拉德”的多智能体架构与大语言模型和数据源无关，并且基于旨在成为多个大语言模型智能体协同通用构建块的设计原语。因此，尽管“玛拉德”特别针对药物不良事件识别进行了实例化，但其设计方法为构建用于可靠的医学知识合成和摘要的多智能体系统提供了一个可推广的蓝图，具有广泛的医学应用价值。

 

图片

总之，“玛拉德”展现出针对药物不良事件提取这一具体药物警戒问题的有效性，更广义地说明了基于多智能体架构和检索增强生成技术来构建可信的医疗知识合成和摘要系统的可行性。虽然该文聚焦于药物不良事件提取，但所提出的设计原则和方法学可迁移应用于其它药物警戒问题，如识别药物间相互作用，乃至更广泛的临床问题，如从病历中提取已知症状。这种基于大语言模型的多智能体方法为医疗领域的智能系统应用铺平了道路。