金碧辉:现在是提高中国论文质量的关键时刻了
文献计量学专家金碧辉研究员访谈


2008年5月16日,汤姆森科学论文检索的数据显示:2007年,美国的SCI论文数位居世界第一;中国首次超过日本位居第四,而且只比位居第二的英国少将近4000篇,比位居第三的德国少400篇。这一数据说明中国的科学实力已经位居世界第四了吗?

“不能! 我想任何人都不会得出这样的结论,因为SCI论文数据的排序只是一个单一指标,而科学实力的内涵十分丰富,两者不能简单地画等号。”中国科学院国家科学图书馆研究员、文献计量学专家金碧辉说。

5月28日,首届中国卓越研究奖暨科学引文中国论文在北京举行。会议前夕,金碧辉接受了《科学时报》记者专访,谈了她所关注的文献计量指标与评价、中国科学的数量与质量等问题。

数字背后有陷阱

金碧辉说,论文数量只是科学产出能力的一个方面,可以用来表征科学研究的规模。这是因为每个科研人员每年产出的论文是有限的。科研人员越多,科学论文也越多。两者应该是正相关关系。

金碧辉是《科学观察》主编、中国科学院国家科学图书馆科学前沿分析中心的负责人,该中心利用汤姆森科技集团公司的“基本科学指标数据库”中的6项指标,在19个学科的范围内测评了各国的科学地位。结果发现,在1992~2003年的时间窗,中国位于世界第15位,在1995~2006年的时间窗,中国上升到世界第8位。在1996~2007年的时间窗,中国驻足在第8位。“下一个时间窗,中国在世界科学中的地位能否提升,很难预测。因为它取决于中国高质量的成果有无增加。”

具体分析还显示,我国19个学科在世界科学中的地位有前有后,数学、化学、材料和物理学是我国的优势学科,工程技术和计算机也有较好的显示度,但包括生物学和医学在内的生命科学相对比较落后。“虽然我国的生命科学在6项指标上的绝对值均有明显提升,但是,提升的速度尚不敌其他发达国家的发展速度。”

金碧辉强调,在微观层面上,当定量数据被用来作为评价指标时,具有很多的局限性,如果对这些局限性认识不足,就会落入数字背后的陷阱中。“当我们简单地用定量数据直接作决策时,就必然会出现玩弄数据游戏的现象,比如,合理的自引是学术继承性的表现,但为了获得更多的‘业绩’,就会产生恶意自引,科研人员的行为被扭曲,学术原生态环境被破坏,在这样一种数据环境下统计出来的指标,其指征性和合理性要大打折扣。”

被扭曲的行为

在中国,对研究人员进行定量评价的一个显著例子就是用影响因子来计算业绩,其公式为“期刊影响因子×论文数量=奖金”。金碧辉说:“这是典型的中国式‘创举’,这里有两个问题值得讨论。”

一是期刊影响因子与论文质量的关系,期刊影响因子是衡量期刊学术影响力的一个指标。对绝大多数期刊而言,对期刊影响因子作出贡献的论文只是很少一部分。上述公式的做法实际上是将少数重要研究成果的学术影响很不合理地均摊到全部的论文,结果是人为降低了重要成果的学术价值,又不恰当地抬高了平庸之作就论文而言,在某期刊上发表论文只能说明经过同行评审,该论文的作者具备了在该刊发表论文的能力;至于这篇论文的研究成果究竟有多大的学术影响和学术价值,还需要经过世界范围内同行的“评议”,这种评议形式就是“引文”。

二是将影响因子和SCI论文与奖金挂钩的做法,这种做法在不经意间将“功利”引入了科学。如果科学是为了功利,科学就不成其为科学了。

她认为,科研管理部门在用影响因子和论文数测评科研人员的绩效时,初衷是为了鼓励大家提高论文水平,但这种做法恰恰是在评价的价值取向和价值导向上发生了错位。“希望激励科研人员做出更好的研究成果的初衷无可非议。但从实际结果来说,这种做法是在引导科研人员将自己的研究成果发表到高影响力的期刊上。”她强调,数据是一种刚性指标,“刚性指标很可能会挫伤科学家的创造力,甚至会扭曲科研人员的科研行为,将科学问题驱动的科研动机扭曲成追求文章数量的科研动机。这是很危险的,对于中国科学的长远发展和提升中国科学的质量有百害而无一益”。

“愚蠢的中国指数”?

自从SCI数据被作为一种“客观评价”标准以后,科学家们一直在谴责这种做法,中国的科学家们甚至将这种做法称为“愚蠢的中国指数”(Stupid Chinese Index,SCI)。

所谓“愚蠢的中国指数”不是指SCI本身的愚蠢,问题在于在它的使用中加入了中国人的不当行为。“在中国,SCI基本上是被本末倒置地使用了。”金碧辉说。

1964年,当美国文献情报学家尤金·加菲尔德博士首次提出“科学引文索引(Science Citation Index,SCI)”的概念时,他的本意是希望通过跨学科的检索方法,将数据整合起来,这样,一个领域的研究人员往往可以为另一领域的相关研究者带来科学发现的新机会。今天,利用SCI数据,研究人员还可以追踪所在领域的前沿以及自己论文被引用的情况,从而发现同行的、自己的研究的新价值、发现新的前沿等。

但在中国,SCI却更多地被用于评价。“我们有相当一部分科研人员,包括博士研究生,在科学研究的初始阶段并没有利用SCI强大的检索功能(或其他的数据库)去获得前人的重要研究成果,于是就进入了起点不高的自娱自乐的科研过程。只是当科研成果发表后才来利用SCI检索一下自己论文的被引用情况。有些人很奇怪,为什么我的论文没有人引用?对此,我一点都不诧异。起点不高的平庸之作当然无人问津。”

“在Stupid Chinese Index一词中,我更愿意把Chinese翻译成‘中国人’。因为SCI作为全球的大型数据库,从来没有获得过Stupid SCI Index的称号,相反,它以独特的引文检索功能和强大的分析功能而誉满全球。Stupid Chinese Index正是对目前滥用定量评价指标做法的批评和嘲讽。面对这样的批评,需要反省的是我们自己,不应将滥用的负面结果强加于SCI或定量评价指标。”她说。

坚持同行评议

大约在十几年前的中国,由于同行评议过程牵扯进太多的“关系”,同行评议体制失信。于是,引入了文献计量指标。为了提高论文发表水平,南京大学率先鼓励研究人员在SCI期刊上发表论文。

金碧辉认为,鼓励发表SCI论文和以SCI数据作为评价指标,在中国科学发展的特定时期还是起到了一定的积极作用,实现了论文数量的指数型增长,比如,1997年,美国SCI论文数是中国的40.6倍,到2007年,这一差距已经缩小到10.9倍。

“经历了15年的发展和积累后,中国科学在今天和今后应走向成熟期,实现质量上的突破,鼓励更多高水平、高影响力的论文。从低量级起步,我们可以实现大跨度的发展。而今天,中国科学已经处在高位上向前推进的现实中,可以说,每前进一步都必须依靠高水平研究成果的铺垫。这就需要中国科学家们高度关注世界同行的科研动态,更要在世界先进成果的起点上进行原始性创新。现在是提高中国论文质量的关键时刻了。”

实现质量上的突破,需要有一套与之相适应的评价方法。“建立起公平、公正的同行评议制度,建立起能够解决和协调科学共同体内部问题的科学自组织机制,是中国科学家和科技管理工作者共同面对和共同解决的一个复杂而又艰巨的问题。”

她建议完善并坚持中国科学界的同行评议制度。“现代科学在中国落地的时间不长,因而中国的科学民主还在培育之中,学术经验和科学传统还在积累之中。在这样的阶段,中国科学界的同行评议难免有失信之处,但我们不能因此而全然摒弃同行评议。美国发达的科技水平背后有一个成熟的科学技术体系,其中也包括了经过300年锤炼的成熟的同行评议制度。1993年美国颁布的《政府绩效法》(GPRA)中就明确指出,为确保世界级研究水平而对科学事业进行管理,同行评议是基础。研究项目要由科学专家来评定其价值,资金的配置也须以研究项目的科学价值为依据。时至今日,美国的同行评议制度仍然还在不断的完善之中。”

“尽管同行评议有自身的问题,对于大多数问题应该通过科学的自组织系统,由科学家自己来解决。这样就能够在充分暴露问题的基础上,形成科学自组织系统的自身免疫力,建立其解决自身问题的能力。政府的政策或科技管理部门的主要角色是改善科学研究的环境,应该为建立这样一种科学自治能力创造条件支持,应该让中国科学界在评价中把握科学家自己的话语权。”

她强调,文献计量数据不能替代任何决策,而是为同行专家作出更加公正判断提供参考信息,应合理利用而不是盲目滥用文献计量指标。“盲目滥用文献计量指标就等于剥夺了中国专家在科研成果质量评价以及科研人员科研绩效评价的话语权。这样做的结果是,我们在不经意间将质量评价的话语权拱手让给了有关的数据库。这显然也不利于中国科学发展。”

“科学的科学发展观”

无论是在国家还是在个人层面,对科学能力进行评估的目的是为了衡量表现并发现潜力。

上面提到的美国《政府绩效法》(GPRA)中还对美国各部门如何确保美国科学的卓越地位作出了各种规定,其中有这样一段文字:“联邦科学机构必须明确各自在科学发展中的定位与性质,制定实现国家目标的最佳的可行性角色的评估战略。适当的评估战略应当鼓励美国科学能力的最有效的使用,保持和提高研究系统的优越性和响应性;一些被采用的评估方法应该精确地反映出被评估项目的优先权。造成那些引起负面动机的绩效指标必须被消除,因为它们比根本没有指标更糟糕。”

金碧辉认为,美国《政府绩效法》中的有些法理和规定恰恰是目前中国的科研评价实践中感到困惑的问题。这一点也正好说明科学的发展有其自身的规律。中国科学事业的发展也一定要遵循科学发展的客观规律。因此,我们需要以科学的科学发展观来统领中国科学的发展。中国科学的发展应从“又快又好”向“又好又快”的发展模式转变。

“到2020年,全社会的研发投入将会提高到占国内生产总值的2.5%,并力争科学技术的贡献率达到60%以上。胡锦涛总书记也在不久前召开的全国科学技术大会上重申了‘用15年时间使我国进入创新型国家行列’的目标。”国家已经在宏观战略层面为中国科学技术的发展给出了更高水平上的保障条件和具体的目标。这就意味着现有的一系列的体制、机制和政策均将面临重大挑战,需要前瞻性地研究并形成一套与新的发展环境相适应的科研管理理念和方法。

    “改革开放30年来,中国科学技术的发展可以划分为两个阶段。在第一个阶段中,中国是在着力进行科学技术体制改革和基础结构的调整与布局;第二个阶段,中国科学进入了快速发展的通道。这一阶段是以规模激增和数量扩张为主要特征。那么今后的15年,应该是中国科学技术乘势而上的战略机遇期和黄金发展期。在这样一个关键时期,中国科学能否在一定数量的基础上实现质的飞跃,取决于“提升质量”的理念能否成为每个科研人员的科研意识,取决于科研人员的科研动机能否回归到科学发现和技术发明的轨道上来。质量是中国科学的永恒主题。”
Share |
Share

TOP

这里粪青,自我感觉超好的人很多,习惯了就好了
原帖由 helloworld 于 2008-9-16 23:43 发表 只能说rwth 每年有“不多”的交换学者,不是“不少”。 对这所大学的internationality 不多谈。有几个回复的帖子怎么让人感觉,不少人是有感于国内学术的黑暗跑出来的?我只知道对别人的成果要肯定,对同行要尊重 ...

TOP

只能说rwth 每年有“不多”的交换学者,不是“不少”。 对这所大学的internationality 不多谈。有几个回复的帖子怎么让人感觉,不少人是有感于国内学术的黑暗跑出来的?

我只知道对别人的成果要肯定,对同行要尊重,否则Permanent-Head-Destruction 这个称呼就是事实了。

最后想起鲁迅先生说的一句话:不惮以最坏的恶意来推测中国人
看来,这句话目前在中国人和西方人里都很流行。希望中国人这么做只是警醒自己,不是试图去砸毁别人从而赢得自己心理上的某种成就感。
Wisdom, a summary of life.

TOP

原帖由 cherubyupan 于 2008-9-14 16:35 发表
说到底文章再多有个p用关键能投如实际换成老人头或者欧元那才比较有意义。否则都是假的。而且即使许多if很高的文章估计10个人8个去重复也重复不出相同结果的


文章多跟学历高一个道理,近到求职时成为要求高薪的资本,远到将来评职称评教授。要不然国内那些前期攒足了原始积累的钱的教授几乎一定会砸钱提高论文数量呢。

TOP

原帖由 cherubyupan 于 2008-9-14 16:26 发表
国外的杂志都一样的,和主编关系好发的就快。每个行业每个教授都有自己的圈子的,至于里面怎么运作的和国内没啥2样的。conference的paper在我看来更是胡扯了


别的行业不敢说,至少ieee的大多数国际conferenc录取文章都是匿名review(不同权威循环review)。不像国内某些所谓核心期刊,一朋友急着毕业,教授打了个电话,2,3天就告知被录取,2个月后发表。这样的核心期刊有意义么?

至于为国内sci文章数量上来而盲目的人,我想是不是你们没有在国内大学学过,怎么纯洁的象小白兔一样。就算你们国内没有机会经历国内学术界的黑暗,每年rwth也有不少交换学者,问问他们吧!不要以为爱国是你们的专利,不看到这事件背后的问题而盲目欢喜不会让祖国更强大。

最后关于ieee喜好办conference的原因,应该是因为电子行业和工业界联系很紧密,每次会议都是大公司show推销新产品的机会,所以才有前两年日本韩国中国抢着要办的问题吵得头破血流,最后某ieee大佬亲自出马告诉他们“三个和尚没水喝的道理”,矛盾得到解决,可见办conference有多热门。

TOP

说到底文章再多有个p用关键能投如实际换成老人头或者欧元那才比较有意义。否则都是假的。而且即使许多if很高的文章估计10个人8个去重复也重复不出相同结果的

[ 本帖最后由 cherubyupan 于 2008-9-14 16:49 编辑 ]

TOP

现在的学术界越来越像黑社会了,圈子里不少人就靠这种会议发财的

TOP

国外的杂志都一样的,和主编关系好发的就快。每个行业每个教授都有自己的圈子的,至于里面怎么运作的和国内没啥2样的。conference的paper在我看来更是胡扯了
原帖由 Fry 于 2008-9-14 06:10 发表 jiejiedog那帖里最后一句话我倒不太怀疑,因为这种事情在国外也比比皆是,谁要是跟某个期刊主编熟的,他那的人发文章都喜欢往那个期刊投,很正常,外国人也是人,都讲人情世故。我也希望自己老板办个期刊或者当某个 ...

TOP

:naughty:

[ 本帖最后由 cherubyupan 于 2008-9-14 16:53 编辑 ]

TOP

原帖由 helloworld 于 2008-9-14 01:18 发表
[quote]原帖由 jiejiedog 于 2008-9-13 10:26 发表

academic circles 里的人最基本的品质是要实事求是。说话是要有根据的。觉得最后一句话……

jiejiedog那帖里最后一句话我倒不太怀疑,因为这种事情在国外也比比皆是,谁要是跟某个期刊主编熟的,他那的人发文章都喜欢往那个期刊投,很正常,外国人也是人,都讲人情世故。我也希望自己老板办个期刊或者当某个期刊的主编,这样至少不会被学术对手挤兑,这也就是你说的被学术权威压制了。

前面那么多回帖,我主要是想说中国人的问题在外国人身上也同样存在,我们没有必要对自己人太苛刻,对于中国取得的成绩我们应该肯定,对于我们自身存在的问题当然应该正视,但是关键在于需要用一个positive的态度去对待,而不能因为有缺点而全盘否定之或者立马冠上垃圾的帽子。骂一两句很容易,你我他都可以,但是真正用心改善中国现状的人才是值得尊敬的,所以我很佩服那些干实事的人。出国了,外国人会始终认为我们是中国人,即使移民了在国外生孩子了,外国人提起你们孩子的时候还是会说“oh, that Chinese”,所以中国和我们这些在国外的人是始终有着关联的。扯得有点远,不好意思。

TOP