图片

药物不良事件（ADE）包括药物使用造成的任何伤害，无论是意外、超说明书用药，还是由于用药差错造成的。药物不良反应（ADR）是一种特殊类型的药物不良事件(ADE)，指的是在规定剂量下正确使用药物而引起的意外伤害。不当用药或超说明书用药造成的伤害不属于药物不良反应（ADR）。药物不良事件（ADE）造成了重大的公共卫生问题，导致大量死亡、重伤、数百万人住院和长期住院。因而造成了巨大的经济负担，使全球医疗行业蒙受巨大资金损失。尽管医疗行业已取得了很大进步，但药物不良事件（ADE）检测仍然是一个重大难题。实施有效的检测和监测策略可以大大减轻对患者和医疗行业的不利影响。以往的药物不良事件检测工作大多仅基于文本数据，由于其主观性和缺乏视觉线索的具体细节，存在明显的缺陷，导致药物不良事件检测可能不准确和分类不完整。尽管进行了广泛的研究，但将文本数据与图像等视觉信息整合的潜力在很大程度上被忽视了。

 

图片

视觉辅助在药物不良事件检测中至关重要，原因有很多。相当一部分人不能熟练使用医学术语，妨碍了对症状的准确描述。此外，某些症状本身就很难通过语言文字表达出来。患者可能很难区分一些类似的症状，如皮疹、湿疹、脱皮和水疱。再者，图像可能会给缺乏足够医学专业知识的人带来困惑。在这些场景中，文本和图像的整合可以提高药物不良事件检测的准确性和有效性，提供对患者当前医疗状况的全面了解。据作者们所知，之前还没有探索过使用图像和文本数据进行药物不良事件检测，他们为此引入了一个多模态药物不良事件数据集，其中包括药物不良反应图像和相应的文本描述。

图片

大语言模型（LLMs）和视觉语言模型（VLMs）在生成类人文本方面表现出了卓越的性能，这便激励人们将其整合到各种医疗应用中，包括生成胸片报告、生成摘要或小结，以及医疗问答等任务。然而，它们在涉及文本和图像的药物不良事件检测中的潜力尚未得到应有的探索。利用大语言模型和视觉语言模型来完成这项任务存在固有的局限性，因为它们主要是在ImageNet、维基百科和互联网等数据库中的通用自然图像上进行训练的。通用模型可能不具备生成综合性的说明文字所需的专业医学知识，这可能会导致描述过于简单，忽视症状和医学的复杂性等基本细节。

图片

此外，虽然视觉语言模型在传统的视觉语言任务中表现出色，但它们在医学图像中的应用带来了独特的挑战，可能会阻碍对复杂医学图像的准确解释和描述。专门的模型，如“X光片GPT”和“皮肤GPT4”，是在胸片和皮肤病图像上进行的训练，体现了准确医学图像分析所需的领域特异性。这促使作者在多模态框架内探索药物不良事件检测。
为了支持这一探索，作者引入了“多模态药物不良事件数据集”，这是一个为此特定目的而精心设计的数据集。该数据集包括1500例患者报告的药物和相关副作用问题，每例都有文字描述和相应的图像。

 

图片

在这项研究的模型开发中，作者采用了“指令BLIP”，它建立在BLIP-2的坚实基础之上，BLIP-2是一个具有高质量视觉表示和强大语言生成能力的预训练模型。细致的微调过程使其能够弥合通用模型与药物不良事件这一特定任务的专业需求之间的差距。此外，作者对BLIP和GIT（生成式图像到文本转换模型）的探索表明，这些模型在微调之前表现出不足的性能。然而，在利用特定领域的数据进行微调后，它们的性能得到了显著改善。

图片

本研究的主要贡献如下：
●一种在多模态环境中检测药物不良事件的新方法极大地帮助了医生、护士和药剂师等医疗专业人员，通过提供药物不良事件病例的详细描述，提高了诊断、治疗方案和患者治疗的准确性。

 

●引入了一种新的多模态药物不良事件数据集，用于进一步研究药物不良事件检测领域。

 

●所提出的数据集在各种应用中显示出巨大的潜力，包括药物不良事件分类、说明文字生成和生成摘要或小结等任务。

 

●他们使用了“指令BLIP”，并在另外两个经过预训练的视觉语言模型上进行了实验，并报告了详细的分析。

 

●专门的药物不良事件模型有望提升患者安全、增强药物不良事件意识和优化医疗沟通。其目的是为寻求有关药物不良事件信息的个人提供易于理解和信息丰富的医学图像的文字说明，以强化他们对潜在用药风险的了解。

 

图片

本项研究工作的代码和数据集可任意获取与使用。