【网络首发】社科学术期刊常用评价指标的相关性研究 ——基于学科比较的视角
网络首发
DOI | 10.19619/j.issn.1007-1938.2021.00.006
作者单位 | 1）2）常州大学学报编辑部；3）常州工学院学报编辑部
摘要 | 文章对我国6个学科的社科学术期刊3 类评价指标及其相互间的相关性进行分析。研究表明：分学科而言，3个特征指标之间相关性不明显；3个转载指标间具有较强的相关关系，特别是综合指数和转载量、转载率之间具有强相关性；除了复合即年指标外，其他引用指标间均呈现出一定程度的正相关关系，影响力指数与其他引用指标间呈现出较强的相关关系，复合影响因子、复合他引影响因子、5年复合影响因子两两间呈强相关关系；期刊特征指标与转载指标、引用指标之间的相关性均不显著。转载指标与引用指标间具有中度的相关关系。评价体系不宜同时使用正相关度较强的多项指标，或者适当控制其总权重；期刊选文时不应太注重基金论文比、平均引文数等特征指标，应注重论文的学术质量。总体上看，高等院校学报和专业社科期刊相比，3 类评价指标之间的相关性差异不明显，高等院校学报人不必因为影响力的原因而纠结是否进行专业化发展，而应该根据自身资源条件选择发展策略。
关键词 | 评价指标；相关性；社科期刊；学术期刊
固定布局
工具条上设置固定宽高
背景可以设置被包含
可以完美对齐背景图和文字
以及制作自己的模板
期刊评价在科研评价方面起着重要作用，备受关注。社科学术期刊作为人文社科领域学术成果的重要展示平台，其评价结果具有极强的导向性，不仅关系着我国广大社会科学研究人员的切身利益和数量庞大的社科期刊生存发展方向，而且对科研成果评估、学术资源分配、科研激励制度及繁荣学术研究等有不可估量的作用。国内研究者对学术期刊评价问题的关注度持续上升，期刊评价结果的被接受程度事关学术研究的良性发展。评价结果是否被学界广泛接受，主要受到评价方法和期刊评价指标两方面因素的影响，而评价指标及其权重是重中之重。期刊评价指标数量繁多，按照功能特性可划分为期刊特征指标、期刊引用指标、文献转载指标等主要类型。在学界认可度较高的社科学术期刊评价体系中，南京大学《中文社会科学引文索引》只选择影响因子和总被引频次作为评价指标；北京大学《中国核心期刊要目总览》则选择了全部类型的评价指标；中国社会科学评价研究院《中国人文社会科学期刊 MI 综合评价指标体系》选择了吸引力（获奖状况、论文状况、同行评议）、管理力（编辑队伍、作者队伍、制度建设、信息化建设）、影响力（学术影响力、社会影响力、国际影响力）等 3个一级指标、10 个二级指标和 24 个三级指标；中国人民大学《复印报刊资料转载指数排名研究报告》则只用了文献转载的相关指标。实践中这 4 种评价体系难分伯仲，在一定范围内评价结果也具有趋同性。这种趋同性是否意味着不同评价体系间具有某种联系，而研究评价间的相关性或许能解释这种联系。不同评价指标指引着期刊的不同功能特征，评价指标间呈强正相关，说明指标所指引的功能特征具有趋同性。如果不同的评价体系选择了相关性较强的指标作为核心评价指标，则其评价结果可能会在一定的范围内具趋同性；如果同一评价体系同时选用相关性较强的多项指标，则会过度放大期刊的这类功能特征，使评价结果的科学性受到质疑。因此，掌握评价指标间的相关性程度，对选择期刊评价指标、完善期刊评价体系具有重要的意义。
一、相关研究
搜索国内外相关文献可知，期刊评价的相关性研究主题可以分为两个角度。
第一，量化评价和质化评价结果的相关性研究。马利戈尔德（Olesya Mryglod）等 [1]通过研究社会科学类系列期刊发现，同行评议结果与引文评价结果的相关性不高；而惠特曼（Ludo Waltman）等 [2] 的研究则认为引文评价结果和同行评议结果存在较强的正相关性。洛佩兹 - 科扎（Emilio Delgado LópezCózar）等 [3] 梳理 49 篇单一数据源论文及100多项不同国家不同学科的实证研究发现，95% 的实证研究结果支持定性与定量两种基于不同评价视角的量度结果在统计上呈现出不同程度的相关性的结论。陈茹 [4]、金淑兰 [5]从学术生态角度分析认为，严谨、公正的同行评议程序是量化评价与质化评价结果统一性的前提与保证。
第二，期刊量化评价指标间的相关性研究。马提阿斯（Gámez A. Matías）[6] 研究发现，心理学期刊的影响因子、h 指数、Latindex 指数之间存在一定程度的相关关系，芬那迪（UgoFinardi）[7] 研究发现，影响因子与逐年引用增长两指标间无显著相关。这一话题也引起了我国学者的关注，研究者们纷纷探讨不同学科、不同评价指标间的相关性：图书情报学期刊零被引率与期刊关键评价指标（2 年影响因子、5 年影响因子）h 指数显著负相关，p 指数与被引频次、平均被引率、5 年影响因子相关性显著 , 与 h 指数具有一定相关性 [8]；神经病学期刊零被引率与引用半衰期呈正相关，与基金论文比、学科扩散指标呈负相关，与各类影响因子、复合即年指标、被引半衰期、学科影响指标无相关性 [9]；在同一学科内，CiteScore、CiteScore 百分位与常用计量学指标均显著正相关，在不同学科间，CiteScore百分位与影响因子百分位、篇均来源期刊标准影响指标（source normalized impact perpaper，英文缩写为 SNIP）、标准特征因子均显著正相关 [10]；经济学期刊的特征因子与影响因子间不存在相关关系 [11]。就人文社科期刊而言，统计规则相似的影响因子、转载量和网络下载三类指标之间呈强正相关，转载指标与引文计量指标之间存在中度或较强的正相关 [12]。
近年来，随着新的评价指标涌现，评价指标相关性研究逐渐深入。但研究者注重运用相关性分析方法挖掘与探索新的计量指标，而常用指标间的相关性研究一直停留在单一学科层面，相关性的学科差异性研究被忽视。学以致用才是最终的目的，本文正是基于这样的初衷，试图以社会科学期刊为例，探索评价指标间的相关性，以及相关性的学科差异。
二、研究数据与方法
1. 数据来源
在《复印报刊资料转载指数排名研究报告》（简称《转载排名报告》）经济学、管理学、法学、社会学、图书情报学、高等院校学报等期刊分类中，选择 2016—2018 年连续 3 年都被收录，共计 99 种期刊作为研究对象。其中，在《转载排名报告》中，经济类期刊和管理类期刊又有若干子类目，本文仅选择应用经济学、工商管理学两个社会科学属性相对明显的期刊分类作为研究对象。
随着国内外期刊评价理论和实践的发展，期刊评价指标数量越来越多。本文选择我国四大社科评价体系中常见的评价指标作相关性分析。选择的 3 类指标包括：期刊特征指标、期刊引用指标和期刊转载指标。
期刊特征指标反映期刊自出版之时就具备的特征，这类指标与生俱来，数量不多，本研究选择基金论文比、平均引文数、引用半衰期等 3 个常见指标。期刊引用指标是期刊计量评价的重要依据，相对特征指标而言 ,引用指标数量众多 , 设计精妙 , 应用广泛，这里选择影响力指数 CI 值、复合影响因子、复合他引影响因子、复合总被引、被引半衰期、被引期刊数、复合即年因子、web 即年下载率等 9 个指标。期刊转载指标是二次文献转载排名的重要依据。转载排名根据期刊论文的转载量、转载率、篇均得分和综合指数，按期刊属性和学科分类来排名。随着同行评议越来越受到我国科研成果评价的重视，中国人民大学人文社会科学学术成果评价中心研制的系列报告的学术影响力越来越大，甚至在诸多高校的科研评价体系中，被四大文摘（《新华文摘》《中国社会科学文摘》《高等学校学术文摘》、中国人民大学书报资料中心复印报刊资料系列）全文转载或者部分转摘的论文，校内认定的等级比 CSSCI 来源期刊级别还要高。“复印报刊资料”是二次同行评议的结果，在一定程度上讲，转载排名是期刊学术影响力的整体体现。本文选择转载量、转载率和综合指数等 3 个指标。
期刊转载指标数据来自 2016—2018 年《转载排名报告》，期刊特征指标和期刊引用指标数据来自 2016—2018 年《中国学术期刊影响因子年报（人文社会科学）》（简称《影响因子年报》）。全部数据按照转载排名的学科分类，整理成经济学、管理学、法学、社会学、图书情报学、高等院校学报等 6 个 Excel 工作表。样本期刊社会科学属性明显，覆盖学科面广，学术质量较高，学术影响力强，以此作为社科期刊评价指标相关性研究的样本，具有典型性。此外，转载指标不仅具有统计学意义，而且其统计数据以同行评议数据为基础，这有利于弥补社科期刊评价中同行评议不足的缺憾。
2. 研究方法
按照学科分类，运用 Pearson 相关系数检验评价指标间的相关性，并进行学科比较；最后根据研究结果分析总结出指标相关性对改进我国社科成果评价的启示。为了便于对各期刊指标的评价数据进行横向对比，首先对样本期刊每个指标的评价结果进行归一处理，Pearson 相关系数考量的是定距变量间的线性关系，用来衡量两个数据集合是否在一条线上。设显著性检验 p 值的双尾检验值大于 0.05 时表示检验结果不显著；同时设相关系数越接近 1 或－ 1，相关度越强；相关系数越接近 0，相关度越弱。本文按照以下取值范围判断变量的相关强度：相关系数为 0.8～1.0表示极强相关，0.6～0.8 表示较强相关，0.4～0.6 表示中度相关，0.2～0.4 表示较弱相关，0.0～0.2 表示极弱相关或无相关。
三、相关性讨论
1. 期刊特征指标的相关性
法学和应用经济学期刊的平均引文数和引用半衰期之间有较强的相关关系，工商管理学、图书情报学和应用经济学期刊的基金论文比和平均引文数之间有中度的相关关系，社会学和高等院校学报的基金论文比和引用半衰期之间具有中度的相关关系（见表 1）。这一结论与大多数研究者的结论相同，也再次证明了基金论文比、平均引文数和引用半衰期等特征指标之间独立性较强，在期刊评价体系中独立指引着期刊的特征。因此，在进行不同类别评价指标相关性研究时，这 3个指标需要独立分析。
表1 期刊特征指标、转载指标相关系数
2. 期刊转载指标的相关性
作为四大文摘之一的中国人民大学复印报刊资料选用“学术创新程度、论证完备程度、社会价值、难易程度、课程立项、发表载体”等 6 个同行评议核心指标，遴选我国哲学社会科学领域的优秀学术成果。复印报刊资料的转载量、转载率和综合指数等以复印报刊资料转载论文为研究样本，具有同行评议的特征，在学界和期刊界享有较高的影响力。表 1 显示，综合指数和转载量、转载率都具有强相关性，这与综合指数（综合指数 =0.4× 转载量归一值＋0.3× 转债率归一值＋ 0.4× 篇均分值归一）的计算方式有密切的关系。除了应用经济学和高等院校学报期刊的转载量和转载率间具有强相关之外，其他学科都仅具有中度或较强的相关性。基于此，在后面进行不同类别评价指标相关性分析时，不考虑综合指数，只选择转载量和转载率两个直接指标。
3. 期刊引用指标的相关性分析
分析期刊引用指标两两间相关性可以发现，总体上除了复合即年指标之外，其他 8个指标两两间均呈现出一定程度的正相关关系（见表 2）。这些指标从不同角度反映期刊的影响力水平，它们之间相互印证，相互补充。影响力指数与其他指标（复合即年指标除外）呈现出较强的相关关系（法学、图书情报类期刊个别指标除外）。复合影响因子、复合他引影响因子、5 年复合影响因子等 3 个指标两两间呈强相关关系。基于此，在后面进行不同类别评价指标间相关性研究时，复合影响因子、复合他引影响因子、5 年复合影响因子 3 个指标可以选择其中的一个。本文选择应用范围较广的复合影响因子。
表2 期刊引用指标相关性系数
4. 期刊特征指标与其他指标的相关性
参考文献综合反映论文作者对相关研究领域内文献的掌握程度，引文数量和引文新旧程度被专家学者和编辑视为论文学术质量的重要参考标准。虽然基金论文比被证实和论文的学术质量没有实质联系，但实践中专家学者和编辑还是看重这个指标。分析其相关性可知：部分学科期刊的平均引文数与转载指标、被引指标存在中度相关关系；只有法学、应用经济学两个学科期刊的基金论文比与部分转载指标、被引指标存在中度相关关系；只有应用经济学科期刊的引用半衰期与转载指标和部分被引指标存在中度的相关关系（见表 3）。这也从侧面印证，多数研究者在进行学术研究时，重视的是文献观点和创新点等本质内容，并不是文献数量等外在因素。
表3 期刊特征指标与其他指标的相关性系数
5. 期刊转载指标与期刊引用指标的相关性
期刊引用指标是文献计量学理论研究和期刊评价实践依据的主要工具。期刊转载指标具有同行评议的优势，近年来越来越受到期刊评价体系和科研评价单位的重视。分析转载指标与引用指标的相关系数可知，应用经济学期刊和高等院校学报的转载量总体上与被引指标具有中度相关关系；除了社会学、工商管理学类期刊之外，其他学科的转载率与被引指标具有不同程度的相关关系（见表4）。这一结论说明，虽然由于制度和文化的原因，我国期刊同行评议制度还不完善，存在学术不端的可能性，但总体上反映了期刊的真实学术水平。
表4 转载指标与引用指标的相关系数
四、结论与启示
通过对我国 6 个学科的社科学术期刊 3类评价指标及其相互间的相关性进行分析，可以得出如下结论：
第一，基金论文比、平均引文数和引用半衰期等 3 个期刊特征指标之间相关性不明显，各自在期刊评价体系中独立指引着期刊的某一特征。第二，综合指数、转载量、转载率等 3 个转载指标间具有较强的相关性，特别是综合指数和转载量、转载率之间均具有强相关性。第三，除了复合即年指标之外，其他引用指标两两间均呈现出一定程度的正相关性。值得注意的是，影响力指数与其他引用指标呈现出较强的相关性，复合影响因子、复合他引影响因子、5 年复合影响因子两两间呈强相关性。第四，期刊特征指标与转载指标、引用指标之间的相关性均不显著。总体上看，转载指标与引用指标间具有中度的相关性。第五，高等院校学报和专业社科期刊相比，3 类评价指标内部相关性及其之间的相关性差异不明显。
基于以上结论，可得出如下启示：第一，对于相关度较强或极强的指标，其评价结果差异不大甚至较为相似，因此不宜同时选用，或适当控制其总权重，以免放大其评价效果。由于转载指标与引用指标分别代表着同行评议和文献计量学评价两种不同的方法，具有明显互补性，因此在社科期刊评价呼唤创新和质量导向的大背景下，有必要强化转载指标的评价功能，以提高同行评议在学术评价中的地位。第二，虽然基金论文比和平均引文数可以反映研究者对领域内文献的掌握程度，但是论文学术水平主要还是由研究内容、研究方法、研究深入程度和研究创新突破等因素决定的，研究者和学术期刊编辑不能本末倒置，过分重视基金项目、引文数量等外在因素。第三，评价指标间相关性不存在明显学科差异。高等院校学报人不必因为影响力的原因而纠结是否进行专业化转型，而应该综合考虑我国期刊结构、办刊环境和自身资源条件进行取舍。
另外，本文仅选择了“转载排名”收录的期刊作为研究样本，且样本年份相对较少，可能会造成研究结果的局限性，后续有必要拓展样本广度，作更深入的比较研究。
参考文献
向上滑动阅览
[1] MRYGLOD O,KENNA R,HOLOVATCH Y，et al.Comparison of a citation-based indicator and peerreview for absolute and specific measures of researchgroup excellence[J].Scientometrics,2013,97(3):767-777.
[2] WALTMAN L,VAN ECK N J,VAN LEEUWEN T N,etal. On the correlation between bibliometric indicatorsand peer review:Reply to Opthof and Leydesdorff[J].Scientometrics，2011,88(3):1017-1022.
[3] DELGADO-LÓPEZ-CÓZAR E,REPISO-CABALLEROR.The impact of scientific journals of communication:Comparing google scholar metrics，web of science andscopus[J].Comunicar,2013,21(41):45-52.
[4] 陈茹 . 国内四种人文社科期刊评价体系的分析比较[J]. 图书馆工作与研究，2013(4)：66-70.
[5] 金淑兰 . 三种核心期刊评价体系比较研究 [J]. 湖北民族学院学报（自然科学版），2012，30(4)：473-476.
[6] MATÍAS-GÁMEZ A.Assessment of psychologyjournals:correlation of impact factor and h-indexvs.Latindex criteria[J].Investigación BibliotecológicaIndice Acumulativo,2013,27(61):15-27.
[7] FINARDI U.Correlation between journal impact factorand citation performance:An experimental study[J].Journal of Informetrics,2013,7(2):357-370.
[8] 金贞燕，金文姬，赵丹群 . 世界著名大学及学科 h 指数与传统文献计量指标的比较 [J]. 图书情报工作网刊，2012(7)：21-29.
[9] 俞立平，隆新文，武夷山 . 特征因子与其他文献计量指标关系研究——基于面板数据的估计 [J]. 科研管理，2012，33(8)：41-47.
[10] 盛丽娜 .CiteScore、CiteScore 百分位与常用期刊评价指标的相关性分析 [J]. 中国科技期刊研究，2018，29(6)：605-611.
[11] 杨惠，骆筱秋，王晴，等 . 特征因子在期刊评价中的作用 [J]. 科技与出版，2018(6)：55-61.
[12] 杨红艳 . 人文社科期刊评价指标的相关性研究：兼对比文摘转载指标和引文计量指标 [J]. 图书与情报，2014(5)：89-94.
Title : A Correlation Study of Common Evaluation Indexes in Social Science Academic Journals——Based on the Perspective of Discipline Comparison
Author : SHEN Xiu1)，TAN Xiaohe2)，ZHAO Qing3)
Institution :1) 2) Editorial Department of Journal of Changzhou University; 3) Editorial Department of Journal of Changzhou Institute of Technology
Abstract :This paper analyzes three kinds of evaluation indexes and their correlation in social science academic journals of six disciplines in China. The results show that there is no obvious correlation between the three characteristic indexes in different subjects. There is a relatively strong correlation between the three reprint indexes, especially the comprehensive index, reprint quantity and reprint rate. Except the compound or annual index, the other citation indexes show a certain degree of positive correlation, and the influence index shows a strong correlation with the other citation indexes. The compound impact factor, compound non-self-citing impact factor and 5-year compound impact factor pairwise show a strong correlation. There is no significant correlation between the journal characteristic index and reprint index and citation index. There is a moderate correlation between the reprint index and citation index. The evaluation system should not use multiple indexes with strong positive correlation at the same time，or should properly control their total weight. Less attention should be paid to ratio of funded papers, average number of citation and other characteristic indexes, and the academic quality of the papers should be valued. In general, with regard to the correlation between the three types of evaluation indexes, the difference between specialized social science journals and journals of colleges and universities is not obvious. The latter should adopt development strategies according to their own resource conditions instead of hesitating about specializing development because of their influence.
Key words : evaluation index; correlation; social science journals; academic journals
编辑：许彤彤
审核：靳琼 熊喆萍