科学以及科研诚信正面临着日益严重的危机。《柳叶刀》(The Lancet)最新社论指出,生成式AI前景广阔,尤其是在帮助人类更好地进行研究的规划、开展及报告工作方面。但是,如果AI取代了人类本应承担的责任,就会出现相应的风险,研究人员需要了解生成式AI的局限性和潜在隐患。在探寻如何防范生成式AI给科研工作所带来的风险时,需要对研究人员的评估、奖励和评价方式进行反思。
科学以及科研诚信正面临着日益严重的危机[1]。大规模撤稿事件、操纵同行评议、贩卖作者身份,以及客座编辑同谋等问题震惊了出版系统,并有可能破坏公众对科学记录的信任。与此同时,生成式人工智能(AI)的发展取得了巨大进步。当两者结合在一起时,会发生什么?6月2-5日在希腊雅典举行的第八届世界科研诚信大会(World Conference on Research Integrity)指出,AI使“论文工厂”的造假论文更难被发现以及更无处不在的“危险”,并警告称人工智能模型仍可能生成不准确或误导性的文本、代码和数据分析,AI生成的解释说明容易过于简单,并加深个人偏见与刻板印象。我们正处于一个可能为科研界带来根本性变化的重要时刻。那么,科研界所面临的情况有多严峻呢?
毫无疑问,生成式AI前景广阔,尤其是在帮助人类更好地进行研究的规划、开展及报告工作方面。大语言模型,如ChatGPT,可以回顾并总结大量信息,尽管它们还不具备人类的批判性评价能力和原创性思维模式。大语言模型精炼语言和语法的能力有助于为研究人员,尤其是英语为第二语言的研究人员,创造公平的竞争环境。AI可用于识别有前景的新药靶点,并通过将患者与合适的试验相匹配来促进临床试验的招募工作,从而有可能提高罕见病患者、孕妇和老年人等边缘群体的代表性。
但是,如果AI取代了人类本应承担的责任,就会出现相应的风险。目前,我们要求所有投稿的作者说明是否有使用AI进行写作,如果使用了,则应提交完整的声明。欧盟委员会发布的《科研领域负责任使用生成式人工智能实时指南》(Living Guidelines on the Responsible Use of Generative AI in Research)[2]等指导性文件,强调了人类监督与问责机制的重要性,同时突出了对透明度、成果验证、伦理及公平性进行批判性评估的重要性。与科研工作一样,这些环节在很大程度上同样依赖于信任。然而,AI技术的进步超过了监督管理方面的工作进展。此外,一些公司在开发人工智能系统时,掌握了模型训练的所有信息,这也给某些成果的评估工作带来了困难。知识产权和版权又是一个值得关注的问题。因此,许多期刊(包括The Lancet)都不允许同行评议人员使用公开的AI技术。
在快速发展的人工智能领域,许多科研人员受到的相关教育严重滞后。研究人员需要了解生成式AI的局限性和潜在隐患,例如产出“大语言模型幻觉”的可能性:AI可能会捏造虚假但看似合理的产出。一个根本问题是,生成式AI会继续推动产出越来越多的论文,而这些论文是否真正有价值仍然存疑,这也会助长学术评估体系的弊端——更看重论文“数量”而非“质量”。在一个日益同质化和“圈子化”的体系中,AI会帮助发表更多平平无奇的内容,而这些内容又会被用作AI进一步训练的数据,这有可能导致研究的实用性不断降低,阻碍科学的进步。
在许多方面,成为“科学家”的意义不会改变。科研不仅仅是尽可能高效地完成一系列独立的任务,更是一项文化事业和社会实践。常识、同理心、直觉、经验、毕生接受的训练、批判性思维以及创造力,使人类之所以成为人类。研究人员通过交流思想并共同反思而得到发展。科研工作可以将不同经历和背景的人聚集在一起,激发批判性讨论,促进国际交流,为政治行动和主张奠定基础。科研工作是一个展示人类成就的平台,超越了人工智能令人印象深刻但最终仍有局限的能力。
生成式AI本质上没有好坏之分。显然,生成式AI会继续存在,并为科研工作带来新的机遇与挑战。如果使用得当,生成式AI可以帮助人们从耗时的繁文缛节中解放出来,让人们有更多的时间进行创造性思考和社交互动。然而,AI作为人类的发明,其所发挥的作用反映的是设计并使用AI的体系和环境。研究人员的工作领域竞争已十分激烈,面临着“要么发论文要么被淘汰(publish or perish)”的压力,也许会产生操纵评议或偷工减料的动机,还需面对根深蒂固的偏见。AI不会创造这些问题,但会放大、加速这些问题。在探寻如何防范生成式AI给科研工作所带来的风险时,对研究人员的评估、奖励和评价方式进行反思不失为一个好的起点,这也是一个早就应该进行的反思。END
参考资料
[1] https://doi.org/10.1016/S0140-6736(24)00349-0
[2] https://research-and-innovation.ec.europa.eu/document/download/2b6cf7e5-36ac-41cb-aab5-0d32050143dc_en?filename=ec_rtd_ai-guidelines.pdf
题图 Copyright © 2024 Surasak Suwanmake via Getty Images
中文翻译仅供参考,所有内容以英文原文为准。