柳叶刀 | 反思科研工作与生成式AI

科学以及科研诚信正面临着日益严重的危机[1]。大规模撤稿事件、操纵同行评议、贩卖作者身份，以及客座编辑同谋等问题震惊了出版系统，并有可能破坏公众对科学记录的信任。与此同时，生成式人工智能（AI）的发展取得了巨大进步。当两者结合在一起时，会发生什么？6月2-5日在希腊雅典举行的第八届世界科研诚信大会（World Conference on Research Integrity）指出，AI使“论文工厂”的造假论文更难被发现以及更无处不在的“危险”，并警告称人工智能模型仍可能生成不准确或误导性的文本、代码和数据分析，AI生成的解释说明容易过于简单，并加深个人偏见与刻板印象。我们正处于一个可能为科研界带来根本性变化的重要时刻。那么，科研界所面临的情况有多严峻呢？

毫无疑问，生成式AI前景广阔，尤其是在帮助人类更好地进行研究的规划、开展及报告工作方面。大语言模型，如ChatGPT，可以回顾并总结大量信息，尽管它们还不具备人类的批判性评价能力和原创性思维模式。大语言模型精炼语言和语法的能力有助于为研究人员，尤其是英语为第二语言的研究人员，创造公平的竞争环境。AI可用于识别有前景的新药靶点，并通过将患者与合适的试验相匹配来促进临床试验的招募工作，从而有可能提高罕见病患者、孕妇和老年人等边缘群体的代表性。

但是，如果AI取代了人类本应承担的责任，就会出现相应的风险。目前，我们要求所有投稿的作者说明是否有使用AI进行写作，如果使用了，则应提交完整的声明。欧盟委员会发布的《科研领域负责任使用生成式人工智能实时指南》（Living Guidelines on the Responsible Use of Generative AI in Research）[2]等指导性文件，强调了人类监督与问责机制的重要性，同时突出了对透明度、成果验证、伦理及公平性进行批判性评估的重要性。与科研工作一样，这些环节在很大程度上同样依赖于信任。然而，AI技术的进步超过了监督管理方面的工作进展。此外，一些公司在开发人工智能系统时，掌握了模型训练的所有信息，这也给某些成果的评估工作带来了困难。知识产权和版权又是一个值得关注的问题。因此，许多期刊（包括The Lancet）都不允许同行评议人员使用公开的AI技术。

在快速发展的人工智能领域，许多科研人员受到的相关教育严重滞后。研究人员需要了解生成式AI的局限性和潜在隐患，例如产出“大语言模型幻觉”的可能性：AI可能会捏造虚假但看似合理的产出。一个根本问题是，生成式AI会继续推动产出越来越多的论文，而这些论文是否真正有价值仍然存疑，这也会助长学术评估体系的弊端——更看重论文“数量”而非“质量”。在一个日益同质化和“圈子化”的体系中，AI会帮助发表更多平平无奇的内容，而这些内容又会被用作AI进一步训练的数据，这有可能导致研究的实用性不断降低，阻碍科学的进步。

在许多方面，成为“科学家”的意义不会改变。科研不仅仅是尽可能高效地完成一系列独立的任务，更是一项文化事业和社会实践。常识、同理心、直觉、经验、毕生接受的训练、批判性思维以及创造力，使人类之所以成为人类。研究人员通过交流思想并共同反思而得到发展。科研工作可以将不同经历和背景的人聚集在一起，激发批判性讨论，促进国际交流，为政治行动和主张奠定基础。科研工作是一个展示人类成就的平台，超越了人工智能令人印象深刻但最终仍有局限的能力。

生成式AI本质上没有好坏之分。显然，生成式AI会继续存在，并为科研工作带来新的机遇与挑战。如果使用得当，生成式AI可以帮助人们从耗时的繁文缛节中解放出来，让人们有更多的时间进行创造性思考和社交互动。然而，AI作为人类的发明，其所发挥的作用反映的是设计并使用AI的体系和环境。研究人员的工作领域竞争已十分激烈，面临着“要么发论文要么被淘汰（publish or perish）”的压力，也许会产生操纵评议或偷工减料的动机，还需面对根深蒂固的偏见。AI不会创造这些问题，但会放大、加速这些问题。在探寻如何防范生成式AI给科研工作所带来的风险时，对研究人员的评估、奖励和评价方式进行反思不失为一个好的起点，这也是一个早就应该进行的反思。END

题图 Copyright © 2024 Surasak Suwanmake via Getty Images

中文翻译仅供参考，所有内容以英文原文为准。

《柳叶刀》社论：维护科研诚信