财新传媒
位置:博客 > 知识分子 > 吴仲义:顶级期刊的论文可靠性有多高?

吴仲义:顶级期刊的论文可靠性有多高?

撰文 | 吴仲义

责编 | 李晓明

六年前,《自然》杂志发表一篇报道Begley and Ellis 2012,简称 BE文)宣称89% 肿瘤生物学研究不可重复,53篇只有6篇可重复。BE文强调这是制药工业界普遍的经验。这个问题的严重性不言可喻。一来在学术上,“CNS”类Cell, NatureScience,统称CNS的明星期刊几乎掌控了全球的科学评估。公认的顶级论文可真只有 11% 的重复率?  二来在临床上,如果肿瘤研究的数据不可重复,治疗方案(譬如靶向治疗)恐怕得彻底重新评估了。

基于这问题的严重性,后起之秀的eLife期刊用了很大篇幅发表“肿瘤生物学重复性研究”(RP:CB)的结果。RP:CB严格地重复了30项研究,首批结果在2017年发表。中国科学院出版的《国家科学评论》National Science Review, NSR最新一期也发表了四位进化生物学家(简称WWHW文)等人对eLife结果的重新分析。他们总结如下: 五个被重复的研究中有四个未能再现其主要结论,剩余一个则难以判读。WWHW因此确认了重复性“不足两成”的看法。WWHW 文也对eLife有所批判。 譬如 eLife 把两篇对照组不能重复的论文归纳为“无法判断”。 一般而言,对照组与实验组不能重复的严重性是对等的。 也因此eLife的结论看起来似乎比BE文稍稍好一些。 详情请看WWHW文的表一 。

 

 

BE文与eLife的核心结论是: “CNS级别期刊的肿瘤生物学论文”可重复性低于20%。 本文只谈CNS级别期刊与“学术学会期刊”论文可靠性的比较。(后者以Genetics为例;Genetics为 1916年出刊的美国遗传学会刊, 到20世纪末仍是遗传学的核心期刊)。  肿瘤生物学研究另外再谈。

 

一般人可能认为如果CNS论文重复性如此低,那引用率不及CNS级别的期刊论文是否更难信服人?关于这一点BE文的列表提到了一个有趣的现象——不可重复性高的结果其引用率比可重复的研究论文高很多。我们也因此推测学会期刊的论文重复率应该会比CNS级别论文提高不少。这倒也不难理解。 CNS 之类的期刊要的论文是“新奇”的发现, “新奇”的东西又往往有“巧遇”的因素。不能重复也就不那么奇怪了。

 

我们学术界对于CNS论文的重视已经到不可思议的地步。CNS论文带来的特殊优惠,包括奖金,升等,项目支持,几乎是“检验科学的唯一标准”了。(西方对CNS的依赖过去没中国严重, 但是水往低处流,最近也有点“见贤思齐”了。) 我们不应该再执迷于“出刊两年内引用率”的所谓影响因子(Impact Factor)。 11% 的重复率实在不高明。要对于世界科研有贡献,现在是中国提出一套新的“科研贡献因子”的时候了。

 

 最后笔者得强调,虽然eLife的RP:CB 结果有一定的普遍性, 但<20%的重复率是肿瘤生物学特有的现象。 问题不是肿瘤科研工作不严谨,这点大家不用特别担心。 更重要的是肿瘤发生与一般医学现象在本质上有很大的不同。 进化过程的生命现象本身就没多大的重复性,但偏偏与癌症的治疗策略息息相关。这是WWHW文探讨的问题,笔者再另文分析。

 

参考文献:

1、Begley, CG, Ellis, LM. Drug development: Raisestandards for preclinical cancer research. Nature.2012; 483 (7391): 531-533.

2、Editorial, eLife. The challenges of replication. Elife. 2017; 6.

3、Nosek, BA, Errington, TM. Making sense of replications.Elife. 2017; 6.

4、Wen et al. (WWHW) On the low reproducibility of cancerstudeies. National Science Review 2018 0:1-7 doi: 10.1093/nsr/nwy021

1976年毕业于台湾东海大学生物系,
1986-1991年在纽约州罗彻斯特大学生物系任助理教授及副教授,
1991至今任芝加哥大学生态和演化系教授,1998-2006年任系主任,
2004年,吴仲义教授被评为中研院院士及AAAS fellow,
2004至今担任广州中山大学长江讲座教授。为台籍院士在大陆任职之始。
2008年受聘千人计划。 
2008- 2014年担任中科院北京基因组研究所所长。 
 

 

物种形成和自然选择是吴仲义在分子演化工作中的主要研究方向。他80%的论文皆是这两大问题的结合,主要贡献是把物种起源研究带到DNA水平上,进而观测自然选择的巨大作用;同时把自然选择研究带到全基因组的层次,肯定了自然选择的广泛存在。2006年后吴仲义开发了microRNA的研究,由 microRNA 基因的特质探讨物种起源的微进化机制。2008年启,在中国开创以进化学的观念来研究肿瘤的成长。 同时以肿瘤进化的观察来修正进化生物学许多不完全的理论。 



推荐 8