图片

《一个治疗学大语言模型》是一篇探讨大语言模型（LLM）在治疗领域应用的研究报告。

 

开发治疗药物是一项复杂且成本高昂的过程，通常需要10到15年，并耗资10亿到20亿美元。成功的治疗药物不仅需要与预期靶点相互作用，还需具备良好的药物特性，包括无毒性和适宜的药物动力学特性。为了提高药物开发的效率，研究人员引入了一个“治疗学大语言模型”，这是一个经过微调的大语言模型，它编码了关于多种治疗方式的知识，旨在解决药物发现过程中的多种任务。

 

图片

该“治疗学大语言模型”基于PaLM-2模型，经过709个数据集的微调，涵盖66个任务，涉及药物发现管道的多个阶段。该模型能够处理小分子、蛋白质、核酸等多种化学和生物实体，结合自由文本进行预测。“治疗学大语言模型”在43个任务上的表现与现有最佳模型相当，22个任务超越了现有最佳模型，特别是在将分子 SMILES 表示与文本信息结合的任务上的表现尤为出色。

图片

 

本研究的方法：

 

●数据集与任务：该“治疗学大语言模型” 训练使用了来自“治疗学共享数据 (TDC)” 的数据集，这些数据集涵盖了从药物靶标结合预测到药物毒性预测等多样化的治疗相关任务。

 

●模型微调：该“治疗学大语言模型”在 PaLM-2 的基础上进行微调，以适应治疗领域的特定需求。

 

●任务类型：研究涉及分类、回归和生成任务，例如预测药物是否为突变原、生成反应物的 SMILES 字符串、预测药物协同作用等。

 

图片

本研究的结果：

 

●该“治疗学大语言模型” 在结合分子 SMILES 表示和文本的任务上表现出色，这可能归功于预训练期间学习到的语境知识。

 

●研究观察到不同药物类型任务之间的正向迁移，例如涉及小分子和蛋白质的任务。

 

●通过消融实验，发现模型大小、领域微调和提示语策略对性能有显著影响。

 

图片

该“治疗学大语言模型”代表了大型语言模型在药物研发领域的重要进展，有望成为未来药物发现和开发过程中的重要工具。随着对模型性能的进一步优化和应用范围的扩大，“治疗学大语言模型”可能会在加速新疗法的开发、提升临床试验成功率等方面发挥关键作用。

 

总之, 这篇文章介绍了一种在治疗学领域有应用前景的通用大语言模型,能够在广泛的治疗学相关任务中取得出色的性能。为各种任务提供一套涵盖整个研发过程的通用工具，为利用大语言模型技术加速药物研发提供了一个重要的前进方向。

 

图片

这项研究工作是谷歌研究院和谷歌DeepMind 团队之间的合作成果。