撰文 | 邸利会

“ESI捷报，热烈祝贺我校XX学科进入全球1%”

“实力师大｜97！我校荣登最新 ESI 中国大学百强榜”

“我校8篇 ESI 高被引论文获校内奖励，最高获10万”

“周一暴击｜我校 ESI 全球排名继续提升！”

这是最近笔者搜索 “ESI 我校” 后随便摘出来的几个标题。像这样的节日狂欢，每两个月就会集中爆发一次，可说是中国科研界的一大奇观。

 

ESI（Essential Science Indicators，基本科学指标）由科睿唯安推出，其中一项服务是在人为划分的22个学科中，基于一些文献数据库统计出约10年间引用排前1% 的机构。这个学科排名两个月更新一次，下一次更新在9月，吃瓜群众可以继续围观。

 

过去的这些年，不少学校像追星一样追逐 ESI 排名，纷纷启动内容丰富的 ESI 学科建设规划，投入的经费动辄成百上千万。

 

开 ESI 学科建设会，引导向ESI期刊投稿，奖励本校互引、自引，引进高被引作者，奖励高被引论文、热点论文；图书馆也鼓足了干劲，及时分析预测 ESI 潜力学科、编制投稿指南、制定学科提升策略等等，目标只有一个——

 

帮学校把 ESI 排名冲进全球 1%，或者 “百尺竿头更进一步”。

 

像 ESI 这样的数字指标正慢慢渗透进高校管理者的血液，同行评议似乎成了 “过去式”，不少科研人员感喟 “黄钟毁弃，瓦釜雷鸣”。

 

可 ESI 就没有问题么，过分追捧值得么？

 

1 错得离谱的计算机学科排名

 

事实上，ESI 并非完美，在某些学科，甚至会产生严重的误差，比如计算机。

 

ACM Fellow，南京大学教授周志华就不止一次吐槽过 ESI——

 

“对计算机学科，如果仅考虑会议不考虑期刊会有统计错误，仅考虑期刊不考虑会议就错得没边了。” 

 

原来，计算机最新的工作通常是先发在会议上，期刊主要是用来发表 “完整版” 或 “完善版”，也只有少数领域会把会议论文集改为期刊，大多数领域仍然是会议论文集。

 

“ESI 是基于 SCI 计算的，SCI 基本不包括会议文献，而计算机前沿工作的主要发表渠道是会议。” 他说。

 

问题就出在选刊上。原来，想要学科排名，ESI会先选出一批认为是属于该学科的期刊，然后再统计论文引用。比如，要对各个科研机构的计算机学科进行排名，就先选定一批 “属于” 计算机的期刊，然后统计出该机构的文章引用。

 

除了不选会议论文这一大 “Bug”，ESI 收录的计算机期刊群与学界公认的主流期刊群也有较大差异。

 

南京大学计算机科学与技术系副教授吴楠发现，与学界公认的中国计算机学会推荐期刊目录对照，尽管两者的刊物数差不多（约两百多种），但 ESI 计算机学科中属于A 类国际期刊范围的仅有19种，属于B类期刊范围的仅有38种，属于C类期刊范围的仅有29种，两者重合部分大概也就三成。

 

更甚者，一些明显不属于计算机的期刊也纳入了 ESI 计算机学科，如 PLOS One、International Journal for Numerical Methods in Biomedical Engineering 等。

 

而 ESI 计算机学科引文贡献最多的前6种期刊（《 BMC 生物信息学》、《信息科学》、《 IEEE 无线通信汇刊》、《神经计算》、《 IEEE 信息理论汇刊》、《应用力学与工程中的计算机方法》，截至2018年7月15日），吴楠说，“它们在的领域虽然与计算机科学相关，但无法涵盖计算机科学与技术领域中公认的主流研究内容或主流期刊。”

 

2 粗放的学科领域划分

 

ESI 学科划分只有22个，如此选刊的 “驴唇不对马嘴” 似乎不可避免。

 

只有一个大类的 “工程学科” 其实包括了信息工程、机电工程、自动化、建筑工程、环境工程、化学工程等等，假设某个机构的 ESI 工程学科是全球的前1%，到底是哪个工程学科强呢？很难直接看清楚。人文学科的 “社科总论” 也没有再细化，包含了千余种期刊。

 

在如此粗放的学科划分下，划入同一学科的刊物，其性质、关注的方向有时差异很大，引用的多少不说明问题。比如，同样是数学，偏应用的刊物引用一般会超过偏理论的，但能说明前者的质量一定更高吗？

 

可某高校的图书馆员在分析了国内数学ESI排名靠前的大学后却提出建议，“要集中论文的投稿，多向 APPLIED MATHEMATICS AND COMPUTATION（《应用数学和计算》）这类分区靠前影响因子高的期刊集中投稿”。

 

如此操作后的数学学科排名还能反映机构的真实研究实力吗？

 

在看到一份全球数学学科 ESI 榜单后，美国西北大学数学系教授夏志宏告诉笔者，“这些都很无聊，毫无意义。” 他特地指出，某国内西部大学的 “数学研究几乎没有任何有意义的工作，但排名超出耶鲁大学10名，而耶鲁的数学在很多方面有深刻的贡献，引导方向。”

 

其实，不仅是同一学科内的刊物，即使是同一本期刊，包含的文章有时分属于不同的学科，可 ESI 只对《自然》、《科学》等少数几本综合性的期刊按照文章进行了统计。

 

洞悉到 ESI 这一漏洞的某校图书馆员建议，如果某个学科是潜势学科（可以简单理理解为排名快接近前1%的学科），那么其他边缘学科的科研人员 “可以在战略上给予支援” ——也就是发文到属于这个潜势学科的 ESI 期刊，为另一个学科的排名作贡献。

 

某校的《加强ESI学科建设方案》中明确说明，“引导广大师生在上述三个学科领域刊物发表高水平ESI研究论文”。

 

从学科划分，到选刊，再到文章，在引用数面前，细致丰富的异质性被一概抹平。所谓 ESI 的学科排名，不科学与不准确几乎是注定的。

 

3 引用的水分

 

把论文投稿到 ESI 某个学科选定的期刊，只是为学校冲击1%作出贡献的第一步，接下来要保证文章得到引用，越多越好。

 

这看起来是一项 “不可完成的任务”，因为理论上别人到底是否引用，不是作者自己说了算。但问题是，ESI 还有一个引用的大 “Bug” 可以利用——对于引用，ESI 并不区分是自引还是他引。

 

于是，有些学校开始鼓励本校师生引用本校的论文，默许甚至鼓励作者自引。某校在公开的 “ESI学科建设” 文件中提出，“鉴于在此学科的发文数量过少，或单篇引用次数相对不高加大引用，在不违背学术道德的情况下，鼓励大家主动引用，多引多奖，上不封顶。”

 

 

原来，引用还有如此的 “神操作”。

 

4 引用说明一切？

 

在 “数字化生存” 的今天，一位研究者的成绩甚至是潜力，似乎看引用数就知道了，并不需要同行的评价。其背后的假定是，引用越多，说明影响力越大，科学价值就越高。

 

支持这个看法的人可以举出很多证据。比如，从1989年建立的汤姆森路透引文桂冠看，除了少数年份，大部分年份都至少有一位最后获得诺奖。从2002年到2017年，300名汤姆森路透引文桂冠获得者，最后43名获得诺奖。

 

但最高的引用就表示最有价值的研究么？其实也不一定。

 

从1900到2014年间，引用率最高的前100论文（汤姆森路透 Web of Science 统计）中，第一名是一篇测定溶液中蛋白浓度的方法的文章（305000引用），很多诺奖的工作，如高温超导的发现、DNA 双螺旋结构、第一次观测到宇宙膨胀，其引用率距离前100名还差很远。

 

该统计还发现，往往是一些实验方法或者软件引用率最高，而真正突破性的发现，如相对论等因为很快变成常识或者进入教科书反而没有太多的引用。

 

无独有偶，在计算机领域，吴楠发现，自2010年以来5位图灵奖获得者发表的论文均未被 ESI 收录为高被引论文或热点论文（统计最近2年的被引，取前0.1%）；且一些热点论文近两年内的引用主要是自引或同研究机构内的引用。

 

正如很多学者指出的，引用其实很复杂——

 

既可能是肯定前人的工作，也可能是批评别人的错误，可能是引用了某个实验方法，也可能仅仅是为了表达对导师的尊重，还有的甚至没仔细看论文原文，仅仅看到某篇文章引用高就随大流引用一下。

 

如果一味按高被引论文评价人才，则可能会造成偏差，因为通常来说，论文的引用量需要时间累积，年资较长的人比年轻人占优势；但如果按照热点论文，也可能只是鼓励了擅于做短平快研究、追逐流行的弄潮儿。

 

连参与 ESI 开发的 David A. Pendlebury 也在近期的一个采访中指出——

 

“因为不能做什么都得到资助，一般的逻辑是给已经发表了有影响的文章、证明了自己的人资助或鼓励，但并不是说，只有这些人才有资格得到支持。正如很多人指出的，缺少证据并不是说就会永远缺席，所以除了基于过往成功的定量指标外，在政策制定和资助决定方面，也要给基于知识和直觉的判断留下空间。这在早期职业研究者的资助方面尤其要注意。”

 

 

可事实是，很多学校对高被引论文和热点论文进行奖励。有的学校甚至提出，“对创建学科按需引进的高端人才，优先安排博士生指标、科研或实验室用房” ， “专项指标招收的博士生，在学期间每人发表3-5篇 ESI 论文”。

 

“这种奖励政策可以看做是国内第二，三梯队大学的一个典型特征，对这些学校的确是有促进作用的，但过了一定阶段，这种政策就是进一步发展的障碍了；国外最顶级的学校当然不会看这种指标了，基本上是资深教授的品位决定以后的发展。” 香港科技大学讲席教授戴希告诉笔者。

 

可以预见的是，ESI 的奖励在一定程度上会影响到科研选题，导致科研人员更多考虑好发文章、传统上引用较多的方向，追逐别人认为的所谓热门，而没有真正审视自己的内心，做自己认为重要的研究。

 

图灵奖得主 Donald Knuth 曾劝诫年轻人——

 

“不要因为某个东西是流行的，就相信是好的。或许我会走向另一个极端，如果发现太多的人都采用了一种想法，我或许会认为不对劲，如果我的工作变的太过流行，我或许该考虑改变。这当然很荒谬，但我经常看到，人们经常做一些违背他们内心的事，因为觉得大家要他们这么做，所以就去做一些他们不那么感兴趣的课题，觉得这么做可以得到更多尊重。我想，你应该是通过做好的科学而不是做流行的科学来得到更多尊重，因为如果做你真的觉得重要的事，长期来看有更大的可能此事是重要的。长期来看重要，才是对世界最有益处的。”

 

5 智囊团加持

 

在这场冲击 ESI 1% 的战役中，不少学校召开了各类 “ESI学科提升报告”、“ESI学科表现专题讲座”，学校的图书馆员、来自科睿唯安（科睿唯安以前是汤姆森路透的知识产权和科学部门，2016年被出售后成立新公司）的工作人员被奉为座上宾，扮演了 “智囊” 的角色，为学校的管理层出谋划策。

 

可这一做法已经招致了科研人员的不满。

 

当笔者将一篇名为《基于 ESI 数学学科的数据对比分析及对学科建设的思考——以武汉大学数学学科为例》的文章发给北京大学数学科学学院教授安金鹏查看时，他难掩心中的愤懑——

 

“我本来不知道 ESI 是什么，现在也没完全清楚，但是觉得用这个来评价任何学科都不合理，不光是数学。”

 

上述文章还提出，“应引导科学工作者向这类影响因子高的期刊或者偏向应用数学领域的期刊投稿。”；“科研工作者要多研究关注最近发表期刊中的高频词，因为它们大多揭示了当前的研究热点，通过关注这些高频词，能帮助科研人员更好地把握当前的研究的热门方向，站在时代的前沿，做出具有前瞻性的研究成果，将极大地促进我校学术地位的提高。”

 

“看作者在图书馆或者经管学院工作，还轮不到他们指点科研人员应该做什么。如果作者是为了凑文章评职称，我不做评价。如果科研管理者把他们的观点当真，就太悲哀了。我不相信有任何一个真正重要的科研工作是这样做出来的。” 安金鹏说。

 

一些学校的图书馆员还建议，利用 “ESI 统计忽略作者排名，合作者与第一作者具有同样的 ESI 贡献度” 的特点，学校应该在对外合作方面作出有针对性的安排，比如——

 

“要求出访者至少完成一定数量的ESI论文”，让研修人员全部带 “命” 出访；建议开展互助合作，“形成校际间互助的双赢局面”；合作研究要 “借船下海”，与本学科排名世界前20位的海外知名学者开展合作研究。

 

文献分析人员提供的这些 “睿智” 捷径，正慢慢地渗透进管理者的脑中。

 

6 取代同行评议？

 

如今，伴随着 ESI 在内的各项指标的大行其道，传统上的同行评议正遭受瓦解。

 

人们似乎不再关心，研究者或者科研机构究竟做出了怎样的科学发现和技术突破；解决了什么样的问题；为社会，经济发展作出了怎样的贡献。好在，一些 “老古董” 还在坚持和呼吁。

 

“说实在的，我现在根本都不太去注意这些东西，什么 ESI，千分之一引用，我都不知道怎么查，也不知道怎么统计的。作为一个科研人，你首先要考虑的是自己的研究是不是能够产生一个持续的、长远的影响，特别是能够对相关产业、社会做出更大的贡献。单单考虑发表些文章，不是说不重要，但这仅是显示成果的一个机会。发表之后需要回头来反思，自己的研究还有哪些地方可以改进，可以深入，能不能更好地融入社会，融入产业。一味追求这些论文指标的话，显然有点浪费时间和机会。”  在一次专访中，中国科学院上海有机化学研究所马大为告诉笔者。

 

在他看来，一味去追求论文排名，并不是一个长久的方法，最终检验大学和中国的科研水平，还要看科研成果能不能对社会发展产生持续的、重大的影响。

 

他所在的有机所也早已跳出了唯论文的评价体系，比如所里有博士一篇文章没有发表也可以毕业；另一方面，如果毕业论文工作量和深度不够，即使发了几篇文章，也照样不让毕业。这一切都是基于小同行评价。

 

不过，在中国这么做有压力么？有，但重要的是领导的担当。

 

“我们也有压力。现在全国每天都有这样那样的排名。我觉得最关键还是一个单位要有点自信，不能说今天排名到第10就多好了，排名到第15了就多差了。每个大学还是要有自信，你要去盘算我有多少比较厉害的人才，是否花了很多时间以后能够创造出一些比较重要的成果，而不是单单去为了数字而奔波。现在的攀比现象，长期来讲对中国的科研是很不利的。要是发文章，跟着热潮最容易发，但是最后你就变成替人家去包装了。很多人喜欢哪个课题热闹就去蹭一下热度，可能发表了很多文章，但过了多少年以后回想一下，发现能够在历史上留下的痕迹很有限。这对科研工作者来讲也是一个失败。”  马大为说。

 

即使是作为 ESI 的开发者，当 David A.Pendlebury 看到文献计量被滥用时，他也承认这是个令人痛心的事情——

 

“用某个简单、单一的指标体系（比如h指数或平均影响因子）来评价或决定资助，很不幸我是见多了这种事，这瓦解了人们对文献计量分析的用处和价值的信心，改变了科研人的行为，让他们追逐分数指标而不再专注于其科研。这腐蚀了科学。防止此类滥用的一种方法是确保引文分析是同行评审的补充，而不是代替它。人来决定重要性以及质量，而文献计量作为表征提供建议，但不是重要性或价值的证明。” 

 

ESI 的中国信徒们，是不是该醒醒了？

 

 参考文献

1.   关于印发《统筹推进世界一流大学和一流学科建设实施办法（暂行）》的通知，http://www.gov.cn/xinwen/2017-01/27/content_5163903.htm#1

2.   刘兵红等，基于ESI数学学科的数据对比分析分析及对学科建设的思考——以武汉大学数学学科为例，《知识、学习与管理》，2017年第1期。

3.   徐仲，吴曼，ESI在中国高校一流学科建设中的误区及对策分析，青岛科技大学学报（社会科学版），第35卷第2期，2019年6月。

4.   罗宏，周杰，ESI学科分类与评价缺陷及其风险探讨，《高教管理》，2018年第11期。

5.   刘凤侠，潘香岑，董新玲，“双一流”背景下高校图书馆ESI学科服务研究，《大学图书情报学刊》，2018，36（05），3-6

6.   颜惠，黄创，ESI评价工具及其改进漫谈，《情报理论与实践》，2016年第5期。

7.   Richard Van Noorden, Brendan Maher& Regina Nuzzo, The top 100 papers, https://www.nature.com/news/the-top-100-papers-1.16224?WT.mc_id=FBK_Nature_1410_Top100papers_PORTFOLIO

8.   Christopher W. Belter, Bibliometric indicators: opportunities and limits, J Med Libr Assoc. 2015Oct; 103(4): 219–221. doi:10.3163/1536-5050.103.4.014

9.   Sneha Kulkarni, Misuse of bibliometric analysis shifts scientists' focus from the irresearch to pursuing scores, https://www.editage.com/insights/misuse-of-bibliometric-analysis-shifts-scientists-focus-from-their-research-to-pursuing-scores

10.科技部教育部人力资源社会保障部中科院工程院关于开展清理“唯论文、唯职称、唯学历、唯奖项”专项行动的通知，http://www.most.gov.cn/tztg/201810/t20181023_142389.htm

11.https://en.wikipedia.org/wiki/Clarivate_Citation_Laureates

12. https://clarivate.com/products/essential-science-indicators/

▼▼▼点击“阅读原文”，与知识分子一起悦读2019。