科研评估

科研评估在科学与社会的互动发展中已经变得日臻重要。然而，对于仍处在起步阶段的中国科研评估而言，还有一条长路要走。 7月25日，来自英国Technopolis科技与创新咨询评估机构的专家Erik Arnold，为中国的科研评估人员上了一课。 一次适时的合作 科研评估的重要动因就是独立地考察、衡量一个研发项目或计划的进展情况，提出工作的缺陷所在，并由此积累经验、教训，学到知识，为今后的项目实施以及制定新政策、新计划提供反馈意见。科研评估对每个国家而言都是相当重要的。 在这种背景下，15年前，中国科技部在国务院各部门中率先将评估机制引入部门管理，中国科技评估的第一个实践者——科技部科技评估中心（NCSTE）也应运而生。现在，它仍是中国政府机构中唯一一家专门从事科技评估的团体。科技评估中心主任张晓原说：“尽管15年来，中国科技评估事业和科技评估中心的业务都有了很大发展，但我们也非常清楚地知道，中国科技评估仍然处于起步阶段，所以我们有强烈的意愿与国外的同行进行交流、合作。” 终于，经多方协调，科技评估中心与英国相关机构正式开展了“中英科技评估合作研究项目”。该项目宗旨中的重要内容，就是要在充分理解双方各自的评估现状的基础上，进一步推动和完善中国的科技评估体系建设和科技计划评估，以便更好地促进日后的科技合作和交流。 今年6月，科技部科技评估中心已经派出5人专家组，先后访问了英国议会特选委员会、创新大学与技能部、英国研究理事会、英国皇家学会和Technopolis评估机构等9个单位，了解了英国科技评估管理机制和组织模式，以及R&D评估的最新理论方法。 7月21日，英方派出高级科技评估专家Erik Arnold来华一周，回访了中国科技部、教育部、中科院、国家自然科学基金委员会等机构，并于25日在科技部科技评估中心进行了科研评估案例、经验介绍和讨论。 听课的科研评估中心国际合作处副研究员杨云说：“收获太大了。”这也是记者当天听到的最多的一句话。 慎用论文作指标 Arnold当天的授课内容主要是Technopolis曾经进行的两个评估案例，一个是瑞典的KTS计划评估，另一个是挪威研究理事会（RCN）的机构评估。前者主要针对具体的计划或项目，而后者则更多地考察一个国家的创新体系。其中涉及的许多问题都对中国的现实有所启发。 比如，与国内动辄就用专利数、论文数等所谓的客观数据来说明计划的成效相比，KTS计划评估中二者都没有用。Arnold表示：“这涉及到指标选取的问题。指标要能够真正反映状况。如果你要考察知识向产业的转移，它与发表的论文数量没有任何关系，这时如果选择论文作为指标，那就不能说明问题。而如果是要说明人力资源的发展状况，那么发表了多少篇博士论文是能够说明问题的。” Arnold说：“关于如何选取指标，大家一直争论不休。不光是中国，全世界的科研机构和人员都会抱怨评估中过分看重论文数量，但实际上，评估人员要找到恰当的指标是一件很有挑战性的任务。在考察一个研究机构或个体的绩效时，论文发表的数量到底能不能说明问题，要看问题是什么，要看论文能否反映你想说明的东西。” 对于论文数量在大学中被普遍用于职称评定、教授晋升，Arnold表示，这会让人感到很不愉快，会有人抱怨。他说：“德国的大学教授很多在博士毕业后搞三五年研究，然后进入产业界打拼一二十年，这时候大学如果光用论文数量来决定是否聘用他们，这群人就会被排除在外。因为他们在产业界工作多年，并没有精力去发表足够多的论文。事实上，这对大学的发展也是不利的，这些人可以带来实际的业界情况和经验，能够让大学知道产业界需要什么样的内容。所以我希望大学在选取聘用员工的指标时，不要只考虑论文数量，尽可能避免我提到的问题。” 评估界带来的创新信号 实际上，除了身为科研评估专家，Arnold还是一位科技创新政策专家。他认为，由于计划是机构制订的，对一个机构的评估会改变和引导它整个做项目的方式，所以可能会产生更大的影响。用他自己的话说，“科技评估并不仅仅是展示评估技能、评估技术，我们希望能由此更多地了解一个国家的科技创新体系，并产生知识来指导政府利用该体系推动创新、管理创新”。 据Arnold介绍，他印象最深的科技创新项目是一些北欧国家的产学研结合项目，它们的成功都有一个重要特点——在计划设计之初就让所有利益相关方一起参与。他说，如果只是让科研人员进行计划设计，他们往往会关注基础性研究，而不考虑如何与产业界结合；反之，产业界单方设计出的计划往往更关注短期产出。而成功的R&D计划应该结合研究和产业优势，即业界告诉研究者他们感兴趣的话题，研究者告诉业界有哪些有意思的方式可以解决他们面临的难题。 在挪威研究理事会的机构评估中，Arnold等人发现，虽然理事会的成立将此前分裂的科研和创新放到了一起，但其下的16个部委并没有改变其行事方式。它们仍然会非常详细地告诉科研机构应该作什么样的研究。这种条块化的资金提供和开展研究的做法，阻碍了科研创新进一步自由开展的权利。因此，他们建议在如此复杂的体系下，各部门不应再紧紧地抓住权力不放，事无巨细地告诉下面的研究机构应该做什么，而是应该放手让科研机构自己解决问题。 Arnold表示，知识创新已经悄然发生了变化。要让国家创新体系发挥作用，不光创新体系内部的各个部分要良好运作，各部分之间还应该有非常好的关联。他指出，在当今时代，知识的形成、创造已经不再像过去那样，在依赖学术的背景下，以保守的组织形式解决一个具体的问题，各个学科之间彼此都是相互独立的，而且学科内部有着非常严格的控制。现如今，知识的创造渐渐发展出完全不同的模式——知识形成以应用为背景，打破了单个学科领域的界限，并拥有动态化的组织管理形式。 与此相对应，科研评估也需要新的方式。Arnold说：“尽管人们要尊重作为专业领域科学发展推动力的同行评审制度，但单以创新本身蕴涵的技术含量来评估研发质量，已经不能完全切合社会需要。过去几十年中，以社会影响作为标准的创新评估方式发展迅速。在评估实践中，如果将这两种方式结合起来，就有可能得到更加全面的结果。”

李晓轩(中科院科技政策与管理科学研究所研究员、中国科学院管理创新与评估研究中心主任)：在现有的评价体系下，中国最大的&ldquo 特点&rdquo 就是科研人员特别忙碌。 　　库尔特· 维特里希(上海科技大学iHuman研究所特聘教授、诺贝尔化学奖获得者)：中国现有的科研评估体系，对已有的结果强调太多，这使很多已有过一些成就的科研人员垄断了研究的大资金，而且科学家们也会一味地追求大项目、大资金，从而忽略了科学研究本身的意义--并非只有大项目大基金才能带来大结果 　　戴维· 斯维尼(英国高等教育拨款委员会研究、创新与技能处主任)：简单地量化考核，或者过于狭隘地将科研成果定义为对现在经济价值的影响，这使科学家们不再为了好奇或者是追求卓越的科学而研究 　　赵东元(中科院院士、复旦大学教授)：科研的评估是很复杂的体系，因为科学是真理，很难用数据衡量。我认为最需要改变的，是科研评估必须关注未来，关注年轻人，给他们更好的成长土壤 　　汪小京(上海纽约大学副校长、纽约大学神经科学教授)：将高影响力的论文发表作为科研评估标准，在过去曾经给中国的科学发展带来很大推动作用，但在中国科研整体有了比较大的发展时，高影响力的论文标准已经不再适合 　　科研评价，不应只着眼于&ldquo 眼前的成功&rdquo ，更应注重发现&ldquo 有潜力的年轻人&rdquo 。而在中国，打造一个科学合理的科研评价体系更显迫切--对刹住中国科学界的歪风，提高创新效率，成就中国未来的国际竞争力至关重要。在上海市科协最近主办的&ldquo 2014科研评估体系国际学术研讨会&rdquo 上，来自世界各地的科学家们共同为中国科研评估体系和投入体系把脉。 　　科研价值观&ldquo 偏离&rdquo 　　一个好的科研评估体系不仅有利于科技的发展、科学家的成长，还有利于教育的发展，乃至全人类的发展。反之，则会影响科学研究的价值观。而中国的科研评价体系还不能称之为&ldquo 好&rdquo 。 　　目前，中国的科研评估往往与论文发表情况、项目的成果产出和科研人员的收入直接挂钩。这易导致科研人员偏离原本的研究目标。而且，科研人员很难从一个项目上获得足够的经费来完成一个课题，所以他们需要多头申请项目，来&ldquo 养活&rdquo 课题。 　　中国科学院管理创新与评估研究中心主任李晓轩说：&ldquo 这造成了科研人员太过忙碌。&rdquo --忙着发论文、找项目，甚至托关系。 　　太看重&ldquo 大人物&rdquo 、&ldquo 大项目&rdquo ，是上海科技大学iHuman研究所特聘教授、诺贝尔化学奖获得者库尔特· 维特里希为中国科研体系指出的弊病。&ldquo 这使已有过一些成就的科研人员垄断了大量研究资金，而且科学家们也会一味地追求大项目、大资金，忽略了科学研究本身的意义。&rdquo 他用自身经历说明，并非只有大项目、大基金才能带来大结果--他获得诺奖的成果，就是在一个非常小的实验室里做的一个非常小的项目。 　　发现&ldquo 有潜力的年轻人&rdquo 　　&ldquo 科研的评估是很复杂的体系，因为科学是真理，很难用数据衡量。我认为最需要改变的，是科研评估必须关注未来，关注年轻人，给他们更好的成长土壤。&rdquo 中科院院士、复旦大学赵东元教授在研讨会上的话引起了共鸣。 　　&ldquo 我们现在享有的科研成果和社会发展，来源于过去对科研的投入，而我们当下的投资，也会在未来得到收获。&rdquo 李晓轩说。近年来，国家自然科学基金委已经设立了青年基金、优秀青年基金、杰出青年基金等，为初出茅庐的年轻科学家提供更多机会，但这还远远不够。 　　上海纽约大学副校长汪小京称，将高影响力的论文发表作为科研评估标准，在过去曾经给中国的科学发展带来很大推动作用，但在中国科研整体有了比较大的发展时，这一标准已经不再完全适用。他认为，应该为有发展前景的项目，以及有科研潜力的年轻人提供更多的支持，&ldquo 要选择那些原创性的人，但如何建立科学的标准去发现他们，还需深入探讨&rdquo 。 　　求解&ldquo 世界性难题&rdquo 　　虽然，与成果、论文挂钩，导致了科研评估的功利化倾向，但离开这些&ldquo 功利的指标&rdquo ，又如何衡量一个科研成果的水平高低、评价一个科学家是否优秀? 　　英国高等教育拨款委员会研究、创新与技能处主任戴维· 斯维尼说，科研评估给科研机构和科研人员带来的压力等弊端并非中国特有，而且这种压力可能会造成部分科研人员行为不端，但管理者必须努力去堵住这些漏洞。 　　英国的科研评估和投资体系被认为是目前世界上相对科学的，这一体系使英国获得了大量的诺贝尔奖，在论文的引用频次上达到世界第6名。但英国仍于今年对他们的科研评估和投入体系进行了改进，因为&ldquo 简单地量化考核，或者过于狭隘地将科研成果定义为对现在经济价值的影响，这使科学家们不再为了好奇或者是追求卓越的科学而研究&rdquo 。戴维· 斯维尼在接受记者采访时说，如何建立一个好的体系，英国与中国一样，也在探索。

汤森路透旗下的信息科技业务，最近以35.5亿美元的价格卖给了Onex Corp和霸菱亚洲投资公司。这个消息旋即在中国学术界引起极大关注，其中最主要的原因，是其中的SCI(科学引用目录，Science Citation Index)一直以来都被认为是中国高校和科研机构研究水平的重要评价指标。SCI易主是否会影响它的相对公正性?是否还能成为科研评价的参考因素?在不少业界人士看来，SCI易主短期之内并不会影响科研评估，但随着科研的发展，SCI的盈利能力长远来看显然令人担忧。　　SCI和期刊影响因子在中国影响力巨大　　此次汤森路透被卖的信息科技业务中的大多数，对大众来说都很陌生，但是旗下的两个产品：SCI数据库和期刊影响因子( JCR，Journal Citation Reports，即期刊引证报告)却在学术界人尽皆知。这是上世纪50年代汤森路透公司开发的，最初主要为科研机构和图书馆选购期刊提供参考，到现在，这一研究被广泛应用于评价个人和研究机构的科研水平。　　一直以来，很多高校和科研机构虽未明文规定，但在评价科研成果乃至科研人员职称晋升、研究生学位授予时，SCI论文的发表都被作为参考因素，而且发表论文的SCI期刊影响因子越高，则被认为是研究质量越高。　　“这可说是成本最低、并且也相对客观的评价标准。”上海交通大学高等教育研究院世界一流大学研究中心执行主任程莹说。因为一直以来，汤森路透对于被收入SCI的期刊有相对严格的审核，在过去几年中，不断有“灌水文”太多的期刊被踢出SCI数据库。包括这些期刊的影响因子，也由相关部门进行评估，对于操纵影响因子的期刊，会公布名单。　　因此，被纳入SCI的期刊几乎都可以“身价大涨”。据汤森路透中国科技业务负责人宁笔介绍，汤森路透之所以发布JCR，是因为SCI选刊过程中需要比较大刊和小刊，单看发文量和总被引频次并不足以反映期刊的质量，统计发现大部分文章发表后的第二年和第三年达到引用高峰，这成为JCR的数据基础。　　据中国科学技术发展战略研究院副院长武夷山介绍，SCI为中国学者重视，起源于中国科学技术信息研究所从1987年起开展的中国科技论文统计与分析工作，当时选择SCI、ISTP、EI和ISR这四类数据库进行统计，主要就是考虑了其综合性和权威性。在过去的几十年中引入这些量化的评价标准，确实使得论文的数量和质量有所提升，并且成为中国科研界的重要评价标准。　　SCI相关的业务被看好　　上海交通大学江晓原教授称，影响因子可说是商业机构用来赚大钱的，发起这个游戏的西方人和少数西方杂志，已经在这个风靡全球的游戏中大获其利。而包括中国在内的发展中国家对于科研投入越来越多，以及SCI和影响因子在中国科研界极其巨大的影响力，使得此次接手的两家企业看到未来的业务增长预期，而愿意以一个比较高的价格购买汤森路透的知识产权和科技业务。　　根据统计，SCI自从1964年推向市场一直到1971年的短短7年中，就给SCI所属的商业机构美国科学情报研究所(ISI)带来了年均27.5%的利润增长率。　　ISI的创始人尤金加菲尔德也是后来提出“影响因子”的学者，他在1955年时在《科学》杂志上发表的论文中，提出了影响因子是评估一个科学家学术成果的重要指标。随后，他创建的ISI每年都发布科学杂志影响因子，更关键的是，SCI数据库和JCR数据库每年都是要付费才能获得的。也正是因为SCI强大的盈利能力，1992年，汤森路透收购了美国科学情报研究所，将SCI收入囊中。　　如今，汤森路透出于战略发展的需要，决定转手这一业务。但汤森路透是专业信息服务提供商，而此次接手的两家公司Onex Corp和霸菱亚洲投资公司，都是在IT、医疗等相关领域的投资企业。购买者之一霸菱亚洲投资发言人称，汤森路透的知识产权和科技业务有着客户关系稳定、内部公开透明、稳定高收入及强大现金流转换等极富吸引力的金融特性。而且，自2014年起，该业务77%的收入都是循环或可预测的，而且在未来发展中是十分可靠的。　　对中国科研评价影响很难评估　　“SCI易主短期内不会对中国的科研评价发生影响，至少5年内对SCI数据库没有什么影响，因为投资机构不会改变SCI目前的运行流程而影响利润，国内科学界暂时也没有特别适合替代的标准。但随着中国科研的发展，SCI盈利能力在5年后就不好说了。”程莹说。　　事实上，近年来，对SCI和JCR的过分重视，给中国科研界带来了负面的影响，越来越多的高校和科研院所过于看重这些量化指标，不少高校会根据教师发表论文的SCI影响因子，给予1万元到10万元不等的奖励。　　即便在国外，SCI论文和影响因子也开始受到学术界批评。欧洲和美国的不少研究机构负责人都多次表示，过于重视SCI和期刊影响因子，会影响大学招聘委员会和资助机构的决策。学术界近年来多次提及要改变“以刊评文”的传统。就在此次SCI被卖的第二天，美国微生物学会即在其8个会刊的社论中宣布，从这些杂志网站上去掉杂志影响因子的标志，也不会在市场宣传和广告中标示影响因子。早在2013年5月，78个科学组织的155位科学家签署了“旧金山宣言”，呼吁科学界停止使用期刊的影响因子来评价科学家和研究。美国细胞生物学会也禁止在年会上谈论影响因子。　　复旦大学高等教育研究所所长熊庆年认为，不论是公开宣布放弃影响因子或SCI数据库，还是过于看重这两者，都不是明智之举，因为在很多时候，这可能是某些数据库提供商之间的竞争。例如美国微生物学会在宣布放弃影响因子的同时，还在以谷歌学术等其他的数据库作为参考。　　程莹说，SCI从诞生开始就是商业机构的一门生意，从统计学上来说，SCI和JCR的数据都有被“污染”的可能性，因此我们更需要关注的，是究竟如何使用这些参考数据。就目前来说，大多数高校和科研院所要做到对每一个人、每一篇论文或每一个科研成果作出评价显然成本太高，因此学术界更应该思考的是，如何建立更科学的科研评价标准，并且如何更科学地使用这些科研评价标准。