财新传媒
位置:博客 > 知识分子 > 科学界苦同行评议久矣?如何改革?

科学界苦同行评议久矣?如何改革?

科学界苦同行评议久矣?| 图源:istockphoto.com,MaksimYremenko

 

导  读

10月底,国际著名生物学综合期刊eLife宣布,所有经过同行评审的文章,编辑部都不会作出接受/拒绝的决定,而是和评审意见一起作为 “已评审预印本” 在网站上发布。eLife这次的改革,主要着力于同行评议环节。作为学术界的基本游戏规则,同行评议存在什么弊端,反映出什么更深层次的问题,是值得深入剖析的。

 

撰文 | 张天祁

责编 | 钱炜

 

同行评议出了什么问题?

长期以来,同行评议是学术出版不可或缺的一环,也是受到科学界高度认可的一种文化。调查显示,绝大多数人(85%)同意 “同行评审极大地帮助科学交流”,甚至更多人(约90%)表示他们自己最近发表的论文通过同行评审得到了改进 [1]。

随着科学竞争日渐激烈、需要审核的文章数量暴增,同行评议速度慢、成本高、检测错误能力差、无法防范欺诈、抑制创新等等问题逐渐暴露,科学家对同行评议的批评和抱怨也与日俱增。

对同行评议效力质疑同时,对审稿人的抱怨也已经成了学术界的一种流行文化。“第二审稿人”(Reviewer2)成为刻薄审稿人的代名词,甚至成了网络热词。在国外社交媒体上 “Reviewer #2 Must Be Stopped” 群组已经有超过10万名的成员。所谓 “第二审稿人”,意思是这些人常常并不是期刊编辑邀请审稿人时的首选人,因此能力往往比第一审稿人要差。

严格的同行评议是必要的,但很多审稿人的评论非常刻薄。一项基于同行评议语料库的研究发现,通常认为审稿人评论的是数据、论证、研究方法,然而审稿人对作者个人能力的批评占到了语料库的24.5% [2]。

“我觉得我在看一部恐怖电影……” “我想象不出,是什么让作者相信他们的论文有足够有趣到提交发表。” “作者读得太多,理解得太少” “该稿件的作者是完全荒谬的,似乎认为他们可以通过射电天文学解决贫困问题。”这类近乎人身攻击的批评在同行评议里并不少见。辛辛苦苦写出的论文收到这样的评价,科研人员感觉 “泄气、被贬低和恼怒” 也是自然的 [3]。

这绝不是个别现象,不专业和刻薄的评论在学术界广泛存在。PeerJ上的一项研究调查了来自46个国家和14个学科的1106名科学家。超过一半的受访者报告说至少收到了一次 “不专业” 的评论,其中大多数人表示他们收到了多条有问题的评论。从结果上看,这些刻薄评论会伤害到科研人员的产出,尤其是更容易自我怀疑的弱势群体 [4]。

如果说刻薄的评论对论文作者造成了精神伤害,过长的评议过程则威胁到了科研人员的生计。调查发现,科研人员对同行评议最不满的地方是周期太长。如果能在30日内接收,则有67%受访者表示满意;若延至3个月至6个月时,10%受访者满意;超出6个月则仅有9%受访者满意 [5]。

在科学竞争日渐激烈的今天,如果一篇论文被拒被迫转投其他期刊,甚至只是延迟发表,科研人员都要付出很高的成本。在审稿人最终决定前,作者不知道论文是否能够通过同行评议,只能按照专家的要求去改动文章。

eLife的审稿编辑、中科院遗传发育所研究员钱文峰表示,“相信很多作者都有这样的经历:认为一个数据的补充并不重要,但迫于同行评审的压力,花了时间精力补充数据,同时让文章变得繁琐冗长。”

 

eLife的改革实际如何?

钱文峰解释说,eLife一直努力让科学评价变回归科学本身,而非由发表的期刊来决定科学的价值。在该期刊的编辑团队看来,以期刊为中心的学术出版体系是前互联网时代的遗留。过去,由于载体的限制不能大量出版论文,必须由编辑和审稿人把控每期期刊的内容,这使得期刊从交流科学的工具变成了筛选内容的看门人,也助长了科学界追逐高影响力期刊的风气。

同行评议在现有的学术出版体系中发挥着把关作用,一般来说一篇论文必须通过同行评议,甚至三位审稿人一致同意才能出版。编辑也是期刊的把关人之一,但相当多的期刊仍然依赖审稿人的意见。钱文峰解释说,学术期刊的编辑有专职编辑和学术编辑两种,学术编辑往往由科学家兼职。学术编辑往往不能覆盖全部研究方向,尤其是编辑人数少的期刊,会更依靠审稿人的意见做判断。

eLife团队认为,同行评议本来是用于纠正作者的方法、数据和推理中缺陷的,但现在学术出版的需要已经扭曲了这一功能,单纯把同行评议作为接收/拒绝论文的审核工具。

这种制度下,同行评议原本提供的学术建议变成了期刊的发表要求,作者则被迫增加没必要的实验和数据,或者修改自己的观点争取发表。过长的审核时间也使得很多新研究成果推迟发布,阻碍了科学交流 [6]。

钱文峰支持这种看法,“同行评议专家本应是帮助作者提高和改进的角色,应该由作者决定自己的著作是否发表,修改到什么程度发表,时间和读者会对文章进行评判。现在常常有点本末倒置,评审专家反客为主,文章花了很长时间修改之后反而似驴非马。从这个意义上讲,eLife的改革方向其实是对的。”

eLife的同道、ScienceOpen平台首席执行官斯蒂芬妮-道森(Stephanie Dawson)的态度更为明确。她认为,由于论文数量爆炸性增长,传统的出版前同行评议会越来越难以为继。而同行评议的作用也远不止审核文章,它本身是科学交流的工具,告诉科学家哪些论文值得讨论,邀请科学家参与讨论过程 [7]。

eLife这次改革的关键点,就是让同行评议不再为期刊发表把关,回归过去学术交流的角色,并且把决定是否出版的权利交给作者。具体来说,论文只要送交同行评议就视作发表,作者后续可以撤稿。

Bio-protocol的联合创始人及岀版人何芳莲评价,“这次改革是学术岀版界的一个革新,最重要的是让有意义的科学进展和发现能更快被同行看到、认可和参考,以加速整个科学发现的进程。之前其他机构有做类似的尝试,但是eLife 这次做得更彻底。”

中科院上海生命科学研究院研究员、Cell Research主编李党生也表示,这一次eLife的改革相比以前更加激进,是一次颠覆。

不过这只是eLife长期改革方案的一部分。eLife的这次改革属于“蓄谋已久”,早在2018年6月到8月,eLife就已经试行过现在的改革方案。
eLife当时的主编就解释说,改革的思路是来自eLife董事、霍华德休斯医学研究所(HHMI)成员的一篇文章。这篇文章不仅提供了这次改革的方案,还提供了进一步的路线图 [8]。

按照这篇文章的方案,生命科学领域的出版可以分为三个阶段,第一阶段是传统出版模式,编辑负责分流和出版文章,同行评议到出版决定之间的过程对外保密。第二阶段是期刊由作者驱动的出版模式,编辑仍然负责分流,但是作者决定是否发表及何时发表,同行评议内容会一同发表。第三阶段,期刊会变成出版平台,完全由作者主导发表,审稿人则由作者自行寻找或者由学术社区提供 [9]。

本次eLife的改革处在路线图第二阶段,将论文把关的权力从审稿人手中集中到了编辑手中,这离来者不拒还有相当大的距离,尤其是在eLife的初审退稿率非常高的情况下。

钱文峰表示,“eLife的送审本来就有着广泛征求意见的严谨程序,一般是三个学术编辑讨论七八轮才会最终决定一篇文章是否送审。估计在改革之后,这个过程只会更加严格。”

在2018年试行改革期间,eLife按常规方法评审了665篇投稿,按新方法评审了331篇。在常规评审的稿件里,编辑的初审通过率为29.6%,最终接受率约15%。而在按新规审的文章里,初审的通过率降到了22%上下,最终的接受率接近20%。可以看出,改革后eLife文章的接受率仍然不高。另外,算上同行评议的时间,改革后整个的发表周期甚至比过去还长 [10]。

图1 elife试验的统计数据,左侧为传统方式审稿右侧为新方式审稿。蓝色代表接收论文,红色代表初审拒稿论文,橙色代表同行评议拒稿论文


从这个结果来看,eLife这次改革仍有局限。李党生怀疑,过去决定期刊收录有编辑和审稿人两道环节,现在只有编辑一道环节的情况下,论文的质量是否能得到保证。“质量控制的工作还要做,而且是在没有同行评审意见下做的,这会是一个更加好的系统吗?”李党生说。

eLife本次的改革措施也产生了一些有待解决的问题。比如,eLife发布的文章仍然是 “审查过的预印本”,这在评价学术成果时如何计算,现在还没有先例和明确的解释。

 

同行评议改革之难

此次改革之前,eLife曾经多次尝试从流程上改善同行评议。

钱文峰介绍,过去,eLife只送审放到预印本网站的文章,并要求评审人(可选择匿名)提供一段公开评审意见(public review)全面评价文章的优缺点。无论文章是否接收,这个公开意见最终将会公布,以反映eLife邀请的部分同行对这篇文章的综合意见。而这些意见本身也在等待着时间的检验。

实行类似尝试的还有Biology DirectF1000 ResearchBMC Medicine 等,它们都选择公开评审意见,这种改革方向被称为开放式同行评议(Open Peer Review)。

不过,开放式同行评议往往要求审稿人公开身份,这一点大部分审稿人都不能接受。一项对2010至2017年5种期刊上公开发布的同行评议意见的研究发现,只有8.1%的审稿人愿意在公开的评审报告上署上自己的姓名[11]。

eLife则在公开评审报告时允许审稿人匿名,这种尝试方向也被称为透明同行评议(Transparent peer review)。从2016年起,Nature Communications 决定长期采用透明同行评议,除非作者要求,不然编辑会把评审意见和文章一同发布 [12]。

进行透明评审时,审稿人会在线讨论审稿人报告中提出的问题,最终编辑根据所有审稿意见和专家间的留言交流,决定拒稿还是建议修改,最后编辑会把编辑和审稿人的意见整合成一份不超过5条建议的评审报告 [13]。

这种审核过程要比三个审稿人各自为战快得多,而且通过交流,审稿人之间的分歧也不会那么大,这种特点让作者非常满意。一项调查发现,95%的审稿人认为eLife的审稿过程给作者提供了可理解和统一的反馈。

不过在李党生看来,这些对同行评议具体环节的改良措施影响力始终有限。他表示,特定的期刊,再怎么改革只在期刊范围内,影响不到不向这些期刊投稿的人。另外,这种措施并没有为eLife吸收更多好文章,做出重要工作的科学家不会仅仅因为流程上的方便而选择eLife。

尽管作者和审稿人的满意度很高,eLife对同行评议流程的改良措施没有得到大规模的模仿和响应。根据Publons2017年的分析,当时在其数据库中具有同行评审政策的约3700种期刊中,只有约2%允许公开评审内容。“我是觉得一个体系如果做得好,大家都会拥抱这个体系,毫无疑问大家应该就会去学的。” 李党生说 [14]。

有些措施在改善了旧问题的同时产生了新问题。例如,公开评审意见有诸多好处,但从审稿人的角度出发,钱文峰认为公开发表的文字更需要字斟句酌,也意味着更耗费时间精力,因此,公开评审意见可能导致编辑团队更难找到审稿人。

Nature Communications 决定公开评审意见时也有部分审稿人拒绝审稿,因为他们身处小领域,同行很容易通过公开的报告看出他们是谁 [15]。

针对同行评议的改革措施仍然有着局限性,可能是意识到了这种局限,eLife的改革路线图提出了在未来彻底改革同行评议和学术出版的方案:从期刊转向出版平台,由作者自由发布内容,编辑团队只提供同行评议服务。

然而这种方案如果实现,就意味着学术出版的定义本身就已经被改写。除非彻底颠覆现有的以期刊为中心的学术出版制度,塑造新的学术出版标准,不然改革的影响力仍然有限。对于仍然要追求发表的科研人员来说,那样的改革是远水解不了近渴。

另外,现在同行评议被人诟病的问题,并不都来自同行评议流程的不合理和学术出版系统的弊病。李党生表示,不能把所有问题都归结成系统问题,有些问题的产生是有相应的客观因素。

他解释说,比如,现在同行评议的时间过长问题,就与投稿论文数量和信息量增加的大背景分不开。“现在一篇文章里包含的信息量可能是20年前的5倍10倍都不止,对专家来说,评审一篇文章的工作量也是越来越大的。因为文章很复杂,往往一个专家不足够,这也就是为什么需要三个审稿人,因为每个审稿人有时只能看到文章的一个方面。”

李党生认为,同行评议出现的一些弊端,实际上是生态系统健康运行的问题。在一个比较复杂系统里有各种个体参与,永远不能排除一些个体的行为和系统不匹配,或者不按规则办事的行为。这些问题可能大到影响学者的整个职业生涯,但如何修复这些问题,没有一个简单的答案。
李党生还表示,广义上讲,现在同行评议还是科学共同体自身在控制。审稿人本身就是科学家,这次被人审稿,下次就可能审别人。共同体的文化仍然是让整个系统健康运行的重要因素。

“我们要营造一个好的文化氛围,让同行评议做到公平公正。这个责任可能是多方都要承担,不能仅仅是一个肩膀挑起来。好的期刊、优秀的科学编辑如果能起好的作用,会塑造一个健康的生态文化生态环境和生态文化。” 李党生说。

在钱文峰看来,现在对同行评议的很多不满,本质上不在于同行评议环节上出了什么问题,问题出在以期刊为中心的学术出版制度。

“不是同行评议的问题,而是大家对于发表文章的期刊过于看重的问题。”钱文峰说,“太想投中的时候,同行评议才成为一个问题。比如一定要发CNS,好像能发一篇CNS就怎么样了。”

钱文峰解释,如果期刊的等级没有那么重要,当发现同行评议专家的意见有误,完全可以转投更合适的期刊。自己的研究方向最适合什么期刊,科研人员一般来说是非常清楚的。但如果一定要投高影响力期刊,评审员有不合适的意见也只能接受。

根据钱文峰的回忆,过去,科研人员发文章只要是主流期刊就可以,并没有特别追求顶刊,评价一个学者的成就更多还是看文章内容本身。在他看来,这些年对所谓 “顶刊” 的崇拜越来越厉害,“文章也不读,连做的是什么也说不清,就看谁发了篇nature之类的期刊,这种学风也不太正。”

现行的科研评价体系是造成不看内容、只看期刊影响因子的原因之一。钱文峰表示,评审项目或者基金时,研究方向关系更近的小同行往往会更清楚研究内容,国外一般是小同行评审。但在国内,由于担心小同行利益相关,往往采用大同行评审,而大同行往往对内容不够理解,只能参考期刊影响因子。

随着学术竞争日渐激烈,这种以刊评文甚至评人的风气日渐增长。在钱文峰看来,这对学术创新是有害的。同行评议有时候会抑制创新。钱文峰总结道,“我们也大概知道什么文章好发,太创新了文章就发不好,有一定程度创新的文章才好发。最好的文章都不太好发,同行没那么容易接受,他们的思想得慢慢地转变过来。”但这些,恐怕不是一家期刊或学术出版界的改革能改变的问题了。

 

参考文献:

1.https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5437951/#ref-77

2.https://research-portal.uea.ac.uk/en/publications/this-work-is-antithetical-to-the-spirit-of-research-an-anatomy-of

3.https://link.springer.com/article/10.1007/s40037-021-00670-z

4.https://peerj.com/articles/8247/

5.http://rdbk1.ynlib.cn:6251/Qw/Paper/632065

6.https://elifesciences.org/articles/83889

7.https://www.editage.com/insights/scienceopen-inviting-researchers-to-openly-participate-in-the-process-of-research-communication

8.https://www.ncbi.nlm.nih.gov/pmc/articles/PMC6019064/

9.https://asapbio.org/digital-age

10.https://elifesciences.org/inside-elife/262c4c71/peer-review-first-results-from-a-trial-at-elife#:~:text=New%20approach%20to%20peer%20review,%2D%20and%20mid%2Dcareer%20colleagues.

11.https://www.nature.com/articles/s41467-018-08250-2

12.https://www.nature.com/articles/ncomms10277

13.https://eLifesciences.org/articles/32012

14.https://publons.com/blog/who-is-using-open-peer-review/

15.https://www.nature.com/articles/ncomms13626

 



推荐 0