三
那么，以“三大核心”为基础的学术评价体制合理吗？时至今日，大概没人会给出肯定的答案，但到目前为止，所有对“三大核心”的批评和讨伐都集中在其评价方法或程序的不合理。其实，在回答“三大核心”的评价是否合理这一问题之前，有一个问题更值得追问，那就是，“三大核心”制作者们所做的是学术评价吗？要回答这个问题，我们不妨对“三大核心”的特点做进一步的分析。
首先，支撑“三大核心”的评价理论是否科学。
所谓“布氏定律”，说明的只是各学科论文在学术期刊中的分布规律。在专业分工和与此相应的专业期刊远不如今天这般发达，多数学术期刊学科边界尚不十分清晰的1930年代，布氏定律所揭示的论文分布规律的意义是不言而喻的，但在今天这样一个学术研究和学术期刊分工高度精细化的时代，布氏定律早已是明日黄花了。而不管布氏定律过时与否，其所揭示的充其量也只是不同学科的文献分布规律而不是不同质量的文献分布规律，与我们今天判断期刊学术质量高下的学术评价已没有直接关系了。
再看“加氏定律”，它也不过说明得到较多引用的文献会集中在部分刊物上，当然，这与学术期刊的质量之间的确有一定的关系，但这个关系是复杂的和非线性的。因为引文虽然大多出自同行学者，似乎代表了同行对被引文献的某些意见，但引文的动机和目的却是多样的，比如有正面引用、负面引用，以及不具备实际意义的为了引用而引用等多种情况；而被引文献之于施引者研究的作用则更是复杂的，即使同样是正面引用，对施引者的作用也是不尽相同的。故而只有对施引者的动机、目的和被引文献之于施引者的贡献作出专业分析后才能对评价产生一定的意义。不经过专业分析的单纯数量统计是没有科学评价意义的，更何况不同学科甚或同一学科不同方向因引文习惯不同而导致的数据迥异，比如同样是引用同行学者的论文，经济学论文的引用数量可能是历史学论文的十倍以上，这岂是加权和算法所能对付的。即使强调引文评价作用的加菲尔德本人也是从不忘同时强调引文分析对引文评价的关键意义的。
至于“核心期刊”制作者对评价理论的“创新”，即引入复合指标，则至少存在着两方面的问题：其一，这些增加的指标是否具有评价意义？比如被视为重要指标的“文摘量”“文摘率”，已有实证研究证明，文摘的数据是不足以用来评价学术期刊质量的参见王文军：《中国学术文摘：现状与展望——以“三大文摘”为中心的实证研究》，《清华大学学报》（哲学社会科学版），2013年第6期。该文论证了期刊被摘量与期刊学术质量并无正相关关系。。其二，即使这些新增的指标具有一定的评价意义，又如何判断其意义的大小？这是依据复合指标制作排行榜的评价所面临的普遍问题。评价机构采取的应对方法无一例外，就是人工干预——加权。那么，如何加权？依据是什么？同样无一例外，评价机构的加权都是依据主观判断来进行，其实，加权原本就是一件极为主观的事。这样一来，所谓的客观评价就充满了主观色彩，对于排行榜的制作者来说，稍稍修改一下加权方案就能轻而易举地改变排序的结果。这也是每有新的期刊排行榜出炉之前，评价机构的门槛都要被前来公关的人踩平的原因所在。其实，这些登门的人与其说是希望得到某种“照顾”，不如说其中的大多数是担心评价机构数据采集和加权中的任意性而使自己的利益受损。如果说，量化评价的最大特点或优势是指标的“客观性”“公正性”，那么，随着在制作排行榜时引入复合指标和加权，“客观性”“公正性”也因失去了基础而大打折扣，甚至已不复存在。
可见，所谓评价理论特别是核心期刊制作者的诸多“创新”，并不那么靠谱。这也是“三大核心”中作为后来者的“C刊”地位不断上升的原因之一，“C刊”的制作者至少坚持了加氏定律的纯洁性，保持了数据的单一性，故其客观性和公开性远胜于另两个引入综合指标并加权运算的“核心”。如果被评价者必须受“核心”指挥的话，当然宁可选择公开性和公正性得到相对保障的“C刊”。于是，在2017年初对CSSCI讨伐风潮中我们看到了一个以往从不曾见过的现象，就是与以往一面倒的讨伐不同，有著名期刊人站出来公开呼吁应公正地看待CSSCI之于学术研究、学术期刊和学术评价的作用参见仲伟民、桑海：《如何客观评价CSSCI》，《澳门理工学报》（人文社会科学版），2017年第3期。
其次，导致“三大核心”作用不断外延的“以刊评文”是否科学。
今天，从学术界、学术期刊界到评价机构再到管理部门，对“以刊评文”均持否定态度，这应该说是近十多年来学术界和学术期刊界对以“三大核心”为代表的评价机构讨伐的一个可以看得见的成果，但这似乎并不妨碍“以刊评文”在现实中风行不变——几乎所有高校的评奖和考核仍然是在数“核心”论文的篇数。
其实，“以刊评文”并非没有其自身的逻辑，这个逻辑是这样的：期刊之所以优秀是因为其所发表的论文优秀；所发论文之所以优秀，是因为期刊社或编辑部执行了严格的审稿标准，将质量低劣的来稿拒之于门外。当然，也就可以反过来推论：发表在优秀期刊上的论文都是经过了严格审稿的，故而都是优秀的，而“三大核心”榜单上的期刊都是优秀的，能在这些期刊上发表的论文一定都是经过了严格审稿的，当然也就是优秀的。如果“三大核心”对期刊的遴选能基于被评选期刊的所有论文，证明入选期刊发表的每篇论文学术质量都是有保障的，那么，这样的逻辑演绎亦即“以刊评文”就不会有太大的问题。
但是，现实中“以刊评文”的结果却十分荒唐，连“三大核心”的制作者们也不得不承认这一点。那么，问题只可能出在评刊，即“三大核心”的遴选标准上。秘密在于：其一，“三大核心”各自评选指标的数值很容易被少数乃至个别论文的极端值所左右。在“三大核心”榜单遴选时，并不针对期刊发表的所有论文，即不要求入选期刊所刊发的每一篇论文都具有指标所规定的足够数据值。事实上，“三大核心”也都没有针对期刊所有论文的指标存在，故而只要其中部分论文具备一定数据值，其余文章，则可完全无视。其二，“三大核心”各自评选指标只涉及形式数据而不涉及内容。这就如同通过检测氮元素的数量来评价奶粉质量一样，为数据造假留下了足够的空间，不法厂商在奶粉中掺入氮元素丰富却非蛋白质的三聚氰胺即可造成高蛋白质的假象，学术界的“三聚氰胺”——人为造假的数据同样可混迹其间，造假的方式则是五花八门，层出不穷，令人目不暇接。
正是评价机构极力将刊物的部分论文数据等同于全刊数据，又难以准确地鉴别数据的真伪，更不分析数据本身的意义，才造成了“以刊评文”结果的荒唐和恶果的蔓延。不管是逻辑推演还是事实判断，“以刊评文”都首先错在评刊，是评刊出了问题才导致“以刊评文”跟着出问题。而当错误的评刊成了“指挥棒”，相当多的期刊社或编辑部就没有必要坚持统一的用稿质量标准。至于评价机构也在高调反对“以刊评文”，这是因为他们明白自己根本没有能力基于论文的质量来评刊，按照他们的方法所评出的“核心”中并非所有论文的质量都有保证，所以不能“以刊评文”。当然，他们也不会不明白论文评价之难，“以刊评文”根本就没有替代品，所以高喊不能“以刊评文”，既可为他们开脱错误评刊所应负的责任，又不会危及自身的利益。
再次，“三大核心”的所谓“客观”的定量评价是否科学。
所谓定量评价，一般指的是通过对评价对象相关数据的采集、分析、运算，得出相关结果的方法。作为方法，定量评价或量化分析具有广泛的适用性，早已成为包括人文学科在内各学科普遍采用的分析方法。因此，问题不在于可不可以用，而在于谁来用和怎样用。
定量评价的基础是数据，但是，并不是所有的可以用于评价的信息特别是涉及评价对象内容层面的信息都可以转化为被纳入“算法”用作运算比较的数据的，即使可转换为评价数据的信息也无法避免数据转换过程中出现的某些重要信息的丢失、扭曲和偏差。因此，数据虽然客观却难免片面和失真，对于以学术研究成果或学术期刊为对象的复杂评价，单纯的定量评价是无法胜任的，而只能是工具性和辅助性的。这就决定了仅依靠对期刊某些形式数据的运算即得出结果的评价机构所做的必定是变形的和不完整的评价，谈不上客观，更谈不上公正和公平。同样重要的是，即使是作为工具性和辅助性的定量评价，也必有一个绝对不可缺损的程序，即对数据的取舍、分析和价值判断，这是决定其“算法”是否科学和专业的前提。对于成果充满个性的人文社会科学研究和期刊而言，数据所代表的意义需要非常专业的分析和判断，故定量评价也只有同行专家才有可能胜任。评价机构所缺的正是专业水准，他们总希望用“算法”来替代专业分析，但至少到目前为止，再复杂的算法也不可能取代专业分析，何况他们所谓的“算法”只是极为简单而随意的加权而已。换言之，没有专业水准，就不可能有科学的“算法”，这就决定了评价机构不可能作出科学和专业的评价，即使单纯的定量评价，也不是其所能胜任的。
最后，评价机构是否为合适的评价主体。
尽管“三大核心”中两家只生产排行榜而不开放其数据的制作者始终声称自己是合适的甚至权威的评价主体，但这样的主体身份是经不起推敲的。因为囿于专业所限，“三大核心”制作者都不可能从事对于其挖掘和整理的数据的专业分析，而缺失了这一学术评价必不可少的关键环节，即使仅做定量评价，他们也不可能是合适的主体。“三大核心”制作者们所做的只是某些期刊数据的定向挖掘和整理工作，而且在“三大核心”中，除了CSSCI开放其数据库以外，另两大“核心”那多达十几个乃至数十个指标的原始数据的挖掘过程和结果从未开放过，而《中文核心期刊要目总览》的制作者居然已放弃了原始数据的挖掘和采集。即使“三大核心”都能开放其数据，充其量也只是为专业的评价做了某种准备而已，而决不是真正的评价。
近年来，CSSCI的制作者已公开放弃了作为评价主体的身份，也不再将其来源期刊目录视为评价成果，而其主打产品则是CSSCI（人文社会科学引文数据库），这个数据库的开放存在才是其能够公开放弃评价主体身份的底气之所在。这使得CSSCI制作者彰显出了与另两大“核心”制作者的根本不同：后者不仅始终坚持他们是合适的评价主体，而且他们的评价产品只有期刊排行榜而没有开放的数据库，故其排行榜即使真的按某种“算法”而得出的，学术界和学术期刊界也无法对其进行必要的监督，其同行也无法重复其运算过程，所谓的科学性也就可想而知了。其实，“三大核心”的三个期刊榜单之于学术研究和学术评价都没什么意义，如果有，也只能是负面的。但需要指出的是，他们所挖掘和整理的数据是有意义的，特别是CSSCI，它并不是什么“核心期刊”，而是引文数据库，将其作为数据源的“来源期刊目录”等同于“核心期刊目录”，是对CSSCI的最大误读。关于这一点，稍后我们将作进一步的分析。
当我们弄清楚了“三大核心”制作者并不具备评价主体的身份，其所做的也不可能是真正的学术评价，“三大核心”（即期刊排行榜）也算不上是所谓的评价结果之后，以“三大核心”为基础的学术评价体制是否合理的问题也就不言自明了。
四
以上我们分析了“三大核心”为代表的量化评价的依据和缺陷，这样的量化评价的根本缺陷就在于外行评价内行。但是，这个外行之所以能够获得对内行的评价权，不仅因为他们获得了行政权力的采信，还因为“内行”在评价方面的无能和堕落而失去了学术公信力。诚如张耀铭教授所言：“公信力是权威性资源之一，一旦受到损伤，便会造成较大面积的信任危机。”张耀铭：《重建学术期刊的公信力和权威性》，《澳门理工学报》（人文社会科学版），2015年第2期。正是学术界中的许多人对同行评议的失望，才有了1990年代对量化评价的呼唤，从而使得评价机构乘虚而入。所谓请神容易送神难，当学术界发现这个他们寄予很大期望的量化评价远没有设想中的那么美好，甚至进一步毒化了学术生态时，“三大核心”早已成尾大不掉之势。对于迅速崛起的评价机构，行政权力则经历了从对“三大核心”运用的得心应手到发现其问题却投鼠忌器的过程。导致学术界和行政权力对“三大核心”态度变化的直接原因是频发的学术不端现象。
在学术评价中引入“三大核心”二十多年后的今天，学术不端已是司空见惯的现象，以至于一般的“炒冷饭”和重复发表，甚至少量隐晦的抄袭剽窃已引不起人们的兴趣，而每隔三两年总会有一两件匪夷所思的学术不端事件曝光，诸如院士造假、校长剽窃之类，才得以引起公众的广泛关注。关注的结果之一就是将这样的事件与学术评价联系起来，视不合理的评价机制为其根源，当然也就少不了对评价机构的一次新的讨伐。
最近一起这样的事件当属2018年10月24日《中国青年报》一篇题为《青年长江学者与她“404”的论文》的报道所曝光的“青年长江学者”梁教授从各家期刊数据库一口气撤下了自己百余篇论文事件。在这之前，梁教授无疑“是同龄人中的佼佼者”，她几乎拿下了这个年龄的大学教师能获得的所有荣誉。撤稿的原因据梁教授自己说是因为早期论文学术质量不高和不符合学术规范，但却不能不让人联想到这些被撤下的论文更可能与某些学术不端行为相关，故而不出意外地激起了人们的愤慨，而梁教授面对记者说出的一句“我这条路有多难你知道吗”《青年长江学者与她“404”的论文》，《中国青年报》，2018年10月24日，第10版。，再一次地使人联想到学术评价机制之“逼良为娼”，引发了许多人的感慨。梁教授的成功之路显然与她学术成果数量的丰硕是分不开的，我们暂且将她是否涉嫌学术不端而撤稿这一疑问置于一边，即使如她所说撤稿是因为论文的质量不高和不符合学术规范是真的，那么，她无疑证实了自己就是以量制胜的典范。“量”何以制胜？当然靠的是以“量”为标准来评判学术优劣的评价。梁教授的成功似乎再次向世人昭示了迎合排行榜的“意义”——学术利益的获取，从而折射出了学术评价机制的不合理。然而，梁教授并非一个孤例，她只是近十多年来迎合学术评价的受益者之一，她的成功和她的悲剧都只不过是比别人多走了一步而已。她当然不是第一个也决不会是最后一个因迎合评价而获益和同样因迎合评价而乐极生悲的青年教师。近年来，梁教授式的成功和悲剧已成为讨伐学术评价机构的有力武器，使得评价机构平添了许多压力，不得不努力改变和重塑自己的形象。
更能感受到学术不端行为频发而带来压力的是行政权力部门，毕竟评价机构的所作所为在很大程度上是出于现行科研体制顺畅运行的需要而由行政权力默许甚至明许的，因为决定评价机制的正是行政权力部门。对于“三大核心”，行政权力的心态是颇为复杂的。排行榜将复杂的学术评价简单化，使行政权力运用起来得心应手固然是他们不愿放弃这样的评价的原因，比如原新闻出版总署2010年下发的《全国报纸期刊出版质量综合评估指标体系（试行）》就是典型的“三大核心”的翻版，而找不到如此好用的替代品则是另一个原因。但是，来自学术界和学术期刊界对以“三大核心”为代表的学术评价机构及其产品的讨伐，以及将学术不端的根源指向现实中的学术评价机制甚至科研体制，使得行政权力部门对“三大核心”的采信不仅留有很大的余地，而且对“三大核心”在学术评价中的运用可能造成的混乱保持了一定的警惕，也意识到改革不合理的学术评价机制之必要，所以也一直倡导着要建立科学合理的学术评价机制。时至2010年代中期，对评价问题的重视已由具体的科研管理部门如教育部、科技部等上升到了最高行政权力部门。
2016年1月，国务院办公厅发布了《关于优化学术环境的指导意见》，该文件开宗明义即指出：“目前我国支持创新的学术氛围还不够浓厚，仍然存在科学研究自律规范不足、学术不端行为时有发生、学术活动受外部干预过多、学术评价体系和导向机制不完善等问题。”针对学术评价领域各类排行榜泛滥的情况，该文件在“任务要求”部分特别指出：“优化学术民主环境，营造浓厚学术氛围……鼓励开展健康的学术批评，发挥小同行评议和第三方评价的作用。科学合理使用评价结果，不能以各类学术排名代替学术评价，避免学术评价结果与利益分配过度关联。”国务院办公厅：《关于优化学术环境的指导意见》（2015年12月29日），国办发〔2015〕94号，中华人民共和国中央人民政府官网。这是笔者所见第一个明确提出“不能以学术排名代替学术评价、避免学术评价结果与利益分配过度关联”的国务院文件。该文件的发布，说明在关于学术评价的顶层设计中，已意识到必须警惕排行榜的负面作用。然而，该文件发布后，学术界却波澜不兴，在高校和科研院所的各类评价中，以排名代替学术评价、学术评价与利益分配紧密关联的现象仍然普遍存在。正因为如此，2017年初对“CSSCI”的讨伐仍然如期而至。与学术界不同，对排名就是评价的否定，评价机构显然要敏感得多，因为他们手中所握有的评价权力是由行政权力部门所赋予的，来自行政权力部门特别是最高权力部门对学术评价态度哪怕任何细微的改变，都足以对评价机构的前途造成决定性的影响。这一点，下文再予分析。
就在国务院办公厅《关于优化学术环境的指导意见》发布两年多后的2018年7月，中共中央办公厅、国务院办公厅印发了《关于深化项目评审、人才评价、机构评估改革的意见》，这是近年来“中央两办”首次共同就学术评价问题发布专门的指导意见，再次昭示了顶层设计对学术评价的重视和改革评价机制的决心。该文件从“优化科研项目评审管理”“改进科技人才评价方式”“完善科研机构评估制度”“加强监督评估和科研诚信体系建设”等方面对学术评价提出了系统性的改进意见。其中，关于“改进科技人才评价方式”部分特别提出：“科学设立人才评价指标。突出品德、能力、业绩导向，克服唯论文、唯职称、唯学历、唯奖项倾向，推行代表作评价制度，注重标志性成果的质量、贡献、影响。把学科领域活跃度和影响力、重要学术组织或期刊任职、研发成果原创性、成果转化效益、科技服务满意度等作为重要评价指标。在对社会公益性研究、应用技术开发等类型科研人才的评价中，SCI（科学引文索引）和核心期刊论文发表数量、论文引用榜单和影响因子排名等仅作为评价参考。……注重发挥同行评议机制在人才评价过程中的作用。”中共中央办公厅、国务院办公厅：《关于深化项目评审、人才评价、机构评估改革的意见》，中华人民共和国中央人民政府官网。“克服唯论文、唯职称、唯学历、唯奖项倾向”以及“核心期刊论文发表数量、论文引用榜单和影响因子排名等仅作为评价参考”的提出，矛头所向，直指单纯的量化评价，而“三大核心”排行榜正是这样的产品。
反“四唯”的口号一经提出即得到了广泛响应，而且与以往不同的是，此次的反“四唯”并没有仅仅停留在口头上，而是有实际行动的。国务院办公厅专门发布了《关于优化科研管理提升科研绩效若干措施的通知》，该文件特别指示：“开展‘唯论文、唯职称、唯学历’问题集中清理……对项目、人才、学科、基地等科技评价活动中涉及简单量化的做法进行清理，建立以创新质量和贡献为导向的绩效评价体系，准确评价科研成果的科学价值、技术价值、经济价值、社会价值、文化价值。”国务院办公厅：《关于优化科研管理提升科研绩效若干措施的通知》（2018年7月18日）国发〔2018〕25号，中华人民共和国中央人民政府官网，接着，科技部、教育部、人力资源社会保障部、中科院和中国工程院联合发布了《关于开展清理“唯论文、唯职称、唯学历、唯奖项”专项行动的通知》，从“任务依据”“清理范围”“清理方向”“组织实施”等几个方面对各部委清理工作作出了部署。一场颇具声势的“四唯 ”专项清理工作就此展开。
上述各部院及自然科学基金委、中国科协以及行业主管部门和地方相关部门都划出了重点清理的范围，涵盖了各种计划项目、人才项目、基地建设、机构评估、成果奖励、院士选拔、职称评审、绩效考核等几乎所有需要或涉及评价的方面，要将这方方面面涉及“四唯”的做法进行清理。具体清理方向是：“1.对部门和单位政策文件中涉及‘四唯’的规定进行修改；对本部门和单位牵头执行的法律和行政法规中涉及‘四唯’的规定，提出修改建议。2.对各类考核评价条件和指标中涉及‘四唯’的内容进行调整，具体表现形式包括但不限于评价指标体系、评价手册、评审细则等。3.对有关管理信息系统和工作表格中涉及‘四唯’的内容进行修改。”科技部、教育部、人力资源社会保障部、中科院和中国工程院联合发布《关于开展清理“唯论文、唯职称、唯学历、唯奖项”专项行动的通知》（2018年10月15日），国科发政〔2018〕210号，科技部官网。如此明确而具体的部署可谓史无前例，对学术界、学术期刊界特别是评价机构的震动可想而知。
这样的专项行动将会带来怎样的后果？《人民日报》发表时评作了乐观估计：“专项行动的开展，有望形成合力，转变科研中存在着的不当作风。”沈彬：《人民时评：校正科研激励的指挥棒》，2018年10月31日，人民网。笔者当然也希望能够早日呈现这样的好结果。然而，冰冻三尺非一日之寒，对于“四唯”的批判并非始于今日，近十多年来，学术界的有识之士们一再呼吁应该改革以“四唯”或其中的某“唯”为标志的不合理的学术评价机制，也得到了行政管理部门的回应，可结果又如何呢？当然，这一次的反“四唯”专项行动的确与以往不同，最大的不同在于，一是由最高层发动；二是有具体的清理方向、范围和措施，但我们必须看到，清理“四唯”主要还属于“破”的范畴，而“破”字当头，“立”是否就在其中了呢？这就要回答“立”什么，如何“立”的问题，这才是问题的关键。
【原文链接】2019年第2期 朱 剑：“三大核心”：拿什么来取而代之？——学术评价的困境
