建立科学的论文代表作评价制度
2020年2月,教育部、科技部印发《关于规范高等学校SCI论文相关指标使用 树立正确评价导向的若干意见》,明确提出要破除“SCI至上”顽疾,力求让高校回归学术初心,净化学术风气,优化学术生态。在《关于政协十三届全国委员会第三次会议第2776号(教育类246号)提案答复的函》中,教育部给出了进一步完善“论文代表作”评价方法的基本思路:一是聚焦标志性学术成果,强调标志性学术成果的创新内容和学术贡献,关注代表性论文对标志性成果的支撑度和关联度。二是运用基于定量数据和证据的专家评价方法,不将SCI、ESI等相关指标作为直接判断依据。三是规定代表作中应包含一定比例的中国期刊论文,鼓励优秀成果优先在中国期刊发表。意见和答复迅速引起了社会各界的广泛关注和讨论,切切实实把相关内容科学落地是当前最为主要而紧迫的工作。要做好论文代表作评价工作,可从以下几个方面着手。
一是要加强宣传,把“SCI至上”的破除与分类评价思想、代表作评价理念、国家文化自信和学者担当结合起来。分类评价是破除“SCI至上”的基本指导。对从事不同类型研究的学者采用不同的评价标准,其中基础研究学者就是要在国内外一流学术期刊上发表高质量的原创性论文,这是应该旗帜鲜明鼓励的。论文代表作评价是破除“SCI至上”的基本方法。论文代表作评价实施的根本目的是让学者们静下心来做研究,不过分强调量的堆积,而是追求质的不断突破。强化国家文化自信是破除“SCI至上”的战略落脚点。通过培育国际一流学术期刊,优化学术环境和生态,占据更大的学术话语权,这需要久久为功,更需要科学布局。我国学者要在国家文化自信方面齐心协力作贡献,这是其应有的担当和义务。
二是引入新理念,从“学术认可度”入手创建新的论文代表作质量定量评价指标。当前,以刊评文现象盛行,将论文质量评价简单化。我们可以借鉴科学社会学和科学计量学领域“学术承认”“加权引证”“引证影像生产者”等理念,从“学术认可度”方面来对论文的“前期认可度”(主要考虑期刊质量,如对重要学者的吸引、入选学会一流期刊情况、论文平均认可度等)和“后续认可度”(主要考虑论文发表后学术界的评价,如权威学者的引用、获得协会论文奖等)进行指标设计。只有获得学术界的认可尤其是重要学者的认可,论文才能真正称为“代表作”。实际上,基于证据的评价在国家自然科学奖评审中已经实行多年,即在提交材料中需要对相关论文的“国内外同行在重要学术刊物上的代表性评价”进行阐释,这一规定性条目实质就是“学术认可度”的具体体现。所以,基于证据的评价理念一直都有,只是还不够全面和完善。今后的工作可围绕“学术认可”这一根本性问题继续展开深入系统研究,形成科学合理、切实可行的“基于定量数据和证据的专家评价方法”体系。
三是完善同行评议,逐步推行“透明知情同行评议”,与定量方法有机结合,形成完整的“定性与定量相结合”的论文代表作评价方法体系。同行评议制度早在17世纪就在欧洲产生,历史非常悠久,它能够从内容层面深入评价论文的创新性,在成果评价中占据非常重要的地位。但是纵观国内外实践,同行评议存在一定的问题。要解决这些问题,本质上是要培育优良的“学术生态”,强化专家的学术责任感,这既需要对专家进行激励来调动他们的积极性,也需要用明确纪律来规范,更需要系列的机制(如专家遴选机制、评审机制、争议处理机制等)来保障。当前,两种同行评议的方法值得关注。一是“知情同行评议”(Informed Peer-review),该方法在一些欧洲国家(如英国、意大利)已经实践多年,取得较好效果。其核心思想是:将论文的一些定量信息(如前期认可度、后续认可度等)一并提供给专家,辅助专家进行更为审慎的判定。二是“透明同行评议”(Transparent Peer-review),该方法将被评审人和评审人交流的信息都公开,开诚布公进行学术评议。透明同行评议不同于“开放同行评议”(Open Peer-review),前者评审人可以匿去真实姓名,而后者要求评审人公开身份信息。当前,在我国可以将两者有机结合起来,在分析我国同行评议症结的基础上,逐步尝试和推行适合我国实际情况的“知情开放同行评议”(Informed-Transparent Peer-review)。但是,不管何种形式的同行评议,还是应该与定量评价结合起来。最后需要强调的是,从评价目的和可操作性来看,定量和定性评价所占比重可根据具体情况来决定,在科学性和效率方面做好平衡。
四是整合数据资源,加快知识在国内外的快速传播,亦为大规模论文代表作评价奠定数据基础。首先,要完善我国“预印本”资源库运行机制。当前我国已经建立了若干预印本服务系统,但效果并不是很好,关注度低,很多学者甚至不知道有这些系统。当前,应该整合这些预印本系统,形成一个运行高效、有吸引力的新系统。鼓励甚至要求学者们首先将成果发布在这一预印本系统,并且中英文摘要都要呈现,这有利于保护学者的成果优先权,也会加快知识在国内外的传播,更有利于支持国内的技术创新。从长久来看,国内外学者会对预印本系统越来越关注,进而形成知识交流的汇集地,有助于提升我国学术话语权。其次,要尽快建立“中国版的国内外论文索引和评价系统”。没有论文索引和评价系统,不可能开展大规模的论文评价。当前,最为快捷的方式就是国内外科学数据服务商有效合作,实现国内外论文的有机融合,快速形成一个新的“立足中国、面向全球”的论文索引系统。
(作者系山西大学科学评价研究中心执行主任、教授)
编辑:张卓晶