期刊评价新指标实证

时间:2024-03-01 点赞:43277 浏览:81512 作者原创标记本站原创

本文是一篇学术期刊论文范文,关于学术期刊毕业论文题目,关于期刊评价新指标实证相关在职研究生毕业论文范文。适合学术期刊及期刊及科技期刊方面的的大学硕士和本科毕业论文以及学术期刊相关开题报告范文和职称论文写作参考文献资料下载。

(武汉大学a.图书馆;b.中国科学评价研究中心,湖北武汉430072)

摘 要:

文章采用数量与质量相结合的引文分析方法构建了一对新的期刊评价指标,期刊贡献值(JCV)和期刊贡献因子(JCF),并对2009年JCR(科学版)收录的7387种期刊进行实证研究.结果表明,JCV和JCF排序结果与学术界的定性评价比较吻合,名列前茅的期刊均是各学科的著名期刊,且以原创性期刊为主;新指标对期刊被引量的突然变化反应相对平稳,且能抑制过度自引提升排序的现象;新指标虽然采用影响因子(IF)表征引用价值权重,但并不偏向于高IF的期刊;相关性研究表明,JCV和JCF有很好的自洽性.

关 键 词:期刊评价;引文分析;期刊贡献值;期刊贡献因子;影响因子

中图分类号:G3531文献标志码:A文章编号:

10085831(2013)04010106

一、引言

学术期刊评价是文献资源评价活动的一个重要方面,评价理念和评价指标合理与否直接影响着评价结果的公正合理性.因而它既是文献情报部门,也是编辑出版界、学术界共同关心和感兴趣的课题.无庸置疑,期刊对于科学进展的推动最终要由专家学者评判.文献计量评价虽然不能替代专家评估,但与之有很好的互补性,在学术期刊评价、个人或学术机构的科研绩效评价,甚至在国家层面的科学影响分析中都有广泛应用,成为专家评价的补充和参考.

文献计量分析最早可以追溯到Cole等人1917年对比较解剖学文献的统计分析[1],但仅仅是对文献数量的统计分析.1927年Gross等人通过统计分析发表化学论文期刊的参考引用文献,得出了该领域的核心期刊[2],这是历史上的第一次引文分析.20世纪六七十年代,Garfield推出ScienceCitationIndex,创办了专门的学术期刊定量评价工具JournalCitationReports(JCR)[3],为人们从关注发表文献数量转向到关注文献被引状况提供了方便,加速了文献计量学理论和实践研究的发展.

然而,虽然引文分析相对单纯的发文数量分析有了不小的进步,但长期以来都是采用将所有引用作等效处理的引用数量分析,没有考虑到不同引文的质量差异,这样的引用分析并不完善.因为事实上来自Nature上的论文的引用与来自某种不知名期刊上的文章的引用应该有不同的引用价值[4],人们也已认识到,没有考虑引文价值的差别[5],是引文分析存在的最关键问题.

二、期刊贡献值(JCV)与期刊贡献因子(JCF)

我们认为,在对期刊或论文的学术贡献作引用分析测量时,既要考察引用数量贡献,也要考察引用价值的贡献,即从哪类引用者(包括哪种层次的学者、哪种水平的研究成果、哪种档次的学术期刊)所获得的引用.因为不同档次研究成果绝大多数发表在相应档次的学术期刊上,重要学者的重要研究成果多发表在重要学术期刊上,反之一般学者的一般性学术成果多发表在一般性学术期刊上;又因为能被高档次引用者引用即表明被引文献对推进重要研究工作有参考借鉴作用,对推进学术研究的贡献相对较大,若只能被一般引用者引用则表明被引文献对推进学术研究的贡献相对有限.因此,我们提议在引文分析中给来自不同引用者的引用赋于不同的权重,希望通过加入这个新变量反映出引用价值的贡献.我们认为可以用引用期刊档次代表引用作者和研究工作的水平档次,可以借用期刊影响因子这一已有期刊评价成果来具体表征引用价值权重.我们的兴趣和目的是将引用次数和引用价值权重作有机结合,进行比较全面的评价测量,探索到更为科学合理的期刊评价方法和评价指标,提高引用分析结果的准确度.

基于以上思路,我们设计了一对分别表示期刊整体贡献和表示期刊论文分值的评价指标,并称之为JCV(JournalContributionValue)和JCF(JournalContributionFactor).根据大量试算结果的比较与归纳,提出了计算JCV与JCF的如下经验公式:

此处Ncj为引用期刊j在评价年度引用被评价期刊前两年发表论文的次数,IFcj是引用期刊j在评价年度的影响因子.Ncj×IFcj即引用期刊j的引用次数乘以引用价值权重系数的乘积,表示被引期刊在评价年度为引用期刊j所作贡献,是引用数量和引用价值共同作用的结果.JCV是被评价期刊为其全部引用期刊所作学术贡献值之和,可从整体上反映期刊在评价年度为推动科学研究与进步作出的总贡献值,是一个体现期刊整体贡献的评价指标.

JCF等于JCVP×1/100(2)

这里JCV即被评价期刊的总贡献值,P为被评价期刊在评价年度前两年内发表的论文数.结合(1)式和(2)式可以看出,JCF的大小由期刊发表论文数、被引次数和引用价值权重系数三个因素共同决定,是一个数量与质量相结合、体现期刊论文分值的评价指标.

三、实证研究

(一)数据来源及计算方法

实证研究是基于从期刊引证报告(JCRScienceEdition)2009年得到的数据,引用分析的时间窗口为2年.数据采集与计算方法为:(a)从JCR的“JournalSummaryList”逐一获取所有被引期刊的“Numberofitemspublishedin2007-2008”,得到在计算中要用到的P值;(b)点击“Citedjournaldatatable”,采集其全部引用期刊的引用数据记录保存到EXCEL中;(c)利用EXCEL自动计算功能计算出引用期刊在2009年引用被引期刊在2007-2008年发表论文的引用数Ncj;(d)利用EXCEL自动计算功能求出被引期刊为各引用期刊所作的贡献Ncj×IFcj,按公式(1)累加全部的Ncj×IFcj值即得到该被引期刊的JCV;(e)在此基础上按公式(2)计算各被引期刊JCF.例如测算期刊A在2009年的JCV和JCF,只需按以上方法从JCR采集到A刊2007-2008年发表的论文数及其引用期刊在2009年的引用数据记录,便可根据以上方法和计算公式很方便地计算出A刊的JCV、JCF.如A刊在2007-2008年共发表了30篇论文,这30篇论文在2009年被B刊(IF等于0.8)引用2次、被C刊(IF等于2.5)引用4次、被D刊(IF等于5)引用8次,被E刊(IF等于4)引用5次,被F刊(IF等于3.6)引用3次,被A刊(IF等于1.5)自引23次,根据(1)式和(2)便可计算得到A刊2009年JCV等于116.9,JCF等于0.213.由此可见,我们的数据来源可靠且容易获得,而且计算非常简单,便于理解,有很强的可操作性和可重复性.

根据算式(1)和(2)对2009年JCRScienceEdition[6]中的7387种期刊进行了JCV和JCF的实证测量,所得2009年JCV和JCF排名前20种期刊见表1.

我们比较研究了JCV、JCF与TotalCites(TC)及IF相互间的相关性以及JCF与JCV之间的相关性,结果显示JCV与TC、JCF与TC、JCV与IF、JCF与IF的相关系数分别为0.9646、0.7757、0.4392、0.7434,说明被评价期刊的总引用次数TC与JCV、JCF值的相关性很强;被评价期刊的影响因子IF与JCV的相关性较弱,但与JCF的相关性稍强.JCV与JCF相关系数R等于0.8552,则表明这对新指标有很强的相关性和自洽性.图1(A-D)分别是JCV与TC、JCF与TC、JCV与JCF、JCF与IF的相关性散点图.表1和图1可清楚看到:NATURE、PNATLACADSCIUSA(PNAS)、SCIENCE显然是整体上对科学研究贡献与影响最大的期刊.

四、讨论

采取数量与质量相结合的方法对学术期刊进行引用分析,符合计量评价发展趋势和需要,但评价方法是否真正科学合理还要看能否得到学术界的认可,要看评价结果是否符合专家学者的看法.考察期刊评价中名列前茅的期刊及其排位合理与否,是对所用评价方法的科学合理性、评价指标的客观公正性最有效最便捷的检验.NATURE、PNAS、SCIENCE是学术界公认的顶级期刊,在我们的测量结果中,三者JCV处于前三甲位置,JCF分别列于第1、6和2位.其他名列前茅期刊都是各学科的著名期刊,而且学科分布也比较均衡.如生物医学类有CELL、NEWENGLJMED、NATGENET、LANCET、NATIMMUNOL、BLOOD;物理学类有PHYSREVLETT、APPLPHYSLETT、ASTROPHYSJ;化学类有JAMCHEMSOC、ANGEWCHEMINTEDIT、JBIOLCHEM等期刊.这样的评价结果符合学术界对学术期刊的主流看法,从一个侧面说明实证结果支持我们引用数量与引用价值相结合的评价方法,借用期刊影响因子代表引用价值权重的做法也是可行的.

也许有人会问,借用IF作为引用价值权重得到的新指标,是否会偏向于高IF期刊呢?我们的答案是否定的.从表1可以看出,JCV排名前20位的期刊中包含有13种IF排在100位之后的期刊,JCF排名前20位的期刊中包含有4种IF排在100位之后的期刊.而IF等于87.925排第1位的CA-CANCERJCLIN,其JCV等于15409.870仅排第246位,JCF等于24.365排第30位;IF等于49.926排第2位的ACTACRYSTALLOGRA,其JCV等于8723.678仅排第448位,JCF等于7.898排在第172位,它们的JCV和JCF指标的排位都明显后移.说明在用IF作为引用价值权重情况下,虽然也包含有被评价期刊自引和其IF的作用,但并非被评价期刊IF高其JCV、JCF就一定更高或很高.表1及我们的全部结果均表明,只能是那些既有较高总被引次数、较高IF,同时又能获得较多的高引用价值期刊的引用的期刊才能获得高的JCV和JCF.如同属“MULTIDISCIPLINARYSCIENCES”类下的JRSOCINTERFACE自身的IF等于4.466,被IF≥10的19种期刊引用38次,被5≤IF<10的27种期刊引用132次,其JCV、JCF分别为3728.618和2.326,IF、JCV、JCF在7387种期刊中排序分别为第628、908和754位.而IF=2.670的ANNNYACADSCI被IF≥10的75种期刊引用308次,被5≤IF<10的193种期刊引用1128次,其JCV、JCF分别为24051.160和5.366,IF、JCV、JCF在7387种期刊中排序为第1511、151和307位.前者自身IF较高但被高引用价值期刊引用较少,所以JCV、JCF排序较IF排序有所下降,后者虽然IF低一些,但被高引用价值期刊引用较多,其JCV、JCF排序比IF排序却有较大提高.

图1JCV与TC、JCF与TC、JCV与JCF、JCF与IF的相关性散点图

也可能还有人要问,新指标是否更有利于高自引期刊呢?我们的答案也是否定的.首先我们看到,自引率很低的NATURE、PNAS、SCIENCE(自引率分别为1.81%、3.76%、1.45%),它们的JCV和JCF排位一点也没受到自引率低的影响,反而比IF排位都有提前.我们特别查看了高自引期刊的反应,如因过度自引在2010年JCR中停止公布其影响因子的BALKJGEOMAPPL和TRANSPORT两刊,在2009年的自引率都高达82%,前者IF、JCV、JCF分别为0.765、27.169、0.038,分别列于第5100、6210、6007位,后者IF、JCV、JCF分别为2.552、640.610、0.595,分别列于第1650、2719、2401位,两刊的JCV分别比IF排名低了1110位和1069位,JCF分别比IF排名低了907位和751位,说明在引用分析中考虑加入引用价值权重这个变量形成的新指标,事实上对期刊过度自引可能形成的自我拉高评价结果的情况有一定的抑制作用.我们的新方法还表现出对期刊引用中产生的突然变化反应相对平稳,例如ACTACRYSTALLOGRA,2001-2008年影响因子一直在1.417~2.385之间波动,2009年突然飙升至49.926排第二位,令人感到非常惊讶

本文是一篇学术期刊论文范文,关于学术期刊毕业论文题目,关于期刊评价新指标实证相关在职研究生毕业论文范文。适合学术期刊及期刊及科技期刊方面的的大学硕士和本科毕业论文以及学术期刊相关开题报告范文和职称论文写作参考文献资料下载。

1;7-8].我们得到该刊2009年JCV等于8723.678只排第448位,JCF等于7.898只排第172位.我们考察了该刊的引用记录,其引用数大增并非靠扩大自引(该刊2009年自引率仅为0.49%)所致,而是由于其中1篇论文获得的高被引引起的变化.这种情况虽然能使其引用次数大幅提高,IF得以大幅提升,但因无法改变其它引用期刊的价值权重,而不可能使既考虑引用数量又考虑引用质量的JCV、JCF得以同步提升.这在一定程度上表明新方法还能有效抑制因引用数剧烈变动造成评价指标失真的情况,在降低期刊自身对评价指标的可控性方面也有较好的效果.2007年,生物学家Bergstrom等人借鉴Pagerank算法和思路,研究开发了EigenfactorTM.Score(EF)、ArticleInfluenceTM.Score(AIS)指标[9-10].该指标在计算过程中赋予引用期刊的声望这一影响因素,在很大程度上改变了IF名列前茅期刊中评述类期刊占比过高的格局,受到不少好评[11-12],期刊的EF和AIS值在JCR中也得到了揭示和反映[6].JCV与JCF指标排序也很好地做到了这一点.在2009年IF、EF、JCV前50种期刊中分别有26种、0种和1种评述类期刊(JCV中的一种评述类期刊是CHEMREV,排名第48位,该刊在EF中也排在邻近的第53位).在表示期刊论文分值的AIS和JCF的前50种期刊中分别有22种和7种评述类期刊,JCF结果占比更低.我们认为,无论从科技期刊发展历史、各类型期刊数量、所载论文的新颖性,还是从论文成果形成过程中投入的人、财、物力状况看,原始期刊在科技发展长河中的主导作用和地位是无可质疑的(历史上所有诺贝尔奖成果都是发表在原始期刊上).不少评述类期刊的确发表了许多好的评论,但这些评论毕竟是在原始科技文献基础上形成的.读者阅读评论文献可以从中快捷地了解到研究课题的来龙去脉,但对其中论及的新理论、新方法、新技术等原创性成果,主要还是通过对原始文献的研读理解来启发、促进自己的研究,创造新成果、新知识.EF、JCV、JCF排序中名列前茅期刊以原始期刊为主体,使名列前茅期刊类型分布趋于合理,表明这些指标在揭示科技期刊贡献和影响方面更切实际情况,彰显了它们的公正性和实用性.

指标相关性研究表明,除JCV与IF相关性相对较弱外,其它指标之间都有很强的正相关性.我们还发现JCV、JCF与EF、AIS排序有较好的相似性.如JCV与EF排名前3位的分别都是NATURE、PNAS、SCIENCE,期刊CELL的JCV与JCF分别排第9、第3位,而其EF与AIS分别排第9、第5位;NEWENGLJMED的JCV与JCF分别排第10、第4位,而其EF与AIS分别排第10、第6位;JCV前20名期刊中有18种出现在EF前20名之中.比较JCV与JCF和EF与AIS这两对指标我们还能看出,JCV与JCF二者的自洽性比EF与AIS的自洽性要好.如PNAS的JCV与JCF分别排第2、第6位,而其EF与AIS则分别排第2、第121位;JAMCHEMSOC的JCV与JCF分别排第4位和第11位,而其EF与AIS则分别排第6位和第258位;JBIOLCHEM的JCV与JCF分别排第6位和第22位,而其EF与AIS则分别排第5位和第353位;PHYSREVLETT的JCV与JCF分别排第7位和第27位,而其EF与AIS则分别排第4位和第196位;ASTROPHYSJ的JCV与JCF分别排第8位和第25位,而其EF与AIS则分别排第12位和第445位;JCLINONCOL的JCV与JCF分别排第13位和第12位,而其EF与AIS则分别排第20位和第130位.这些代表性期刊的JCV与JCF指标排序差值都在1~20位之间,而EF与AIS指标排序差值却都在110~433位之间,JCV与JCF的自洽性明显较高.期刊整体贡献无疑与论文水平有密切联系,对用相应评价理念与方法得出的成对指标而言,应该是具有较高自恰性更合理一些.


英国皇家学会、美国国家科学院院士AlanFersht[11]设想有A类期刊每年只发表很少论文而有一个很高的IF,B类期刊每年发表特多的论文而只有一个令人难看的IF,C类期刊每年发表为数适中的论文而有一个中等的IF,并断言C类期刊可能是最重要的期刊.我们的结果显示,在2009年JCR覆盖的7387种期刊中,JCF前20名期刊中既不包括IF排名1-2、5-6位的高影响因子期刊,也不包括IF排名在164位以后的任何期刊;既不包括论文数排名在1-5位、7-9位的高发文量期刊,也不包括论文数排名在第3691位之后的所有小型期刊.同样可以看到,在JCV前20名中既不包括IF排名在1-2位、4-7位的期刊,也未包括IF排在第954位之后的期刊,在JCV前10名中则既不包括论文数排名1-5的高发文量期刊,也不包括论文数排名在543位以后的期刊.按JCV、JCF结果,那些发文量少、IF很高的期刊和发文量特多而IF很低的期刊的确没有太好的表现.如同属“CRYSTALLOGRAPHY”子类的ACTACRYSTALLOGRA和ACTACRYSTALLOGRE,前者IF等于49.926排第2位,而其JCV、JCF分别只排第448和172位;后者2007-2008年发表论文8698篇排第3位,而其JCV、JCF分别只排在第903和2960位,它们的JCV、JCF与IF或论文量排名存在很大落差.这在一定程度上印证了Fersht的判断,如果这种判断能代表学术界的主流看法,则表明我们的结果与学术界的主流看法有较好的吻合.

五、结论

我们采用数量与质量相结合的引文分析方法符合计量分析评价发展的趋势和需要.实测结果表明JCV和JCF结果排序与学术界对期刊的定性评价相当吻合,当今对科学研究贡献最大、推动力最强的期刊是NATURE、PNAS、SCIENCE等期刊,JCV和JCF排序名列前茅的其他期刊也都是各学科的著名期刊,而且学科分布也比较均衡.

新指标对期刊过度自引形成的自我拉高评价指标的情况有比较明显的抑制作用,对期刊引用的突然变化反应相对平稳,显示有降低期刊自身对评价指标的可控性或人为干扰评价指标的效果.由JCV和JCF得到的名列前茅期刊以原始性期刊为主,这种期刊类型分布的结构性改变,符合科技期刊的整体状况,能更加真实地反映期刊在促进科学发展与进步中所发挥的作用和所作贡献.

相关性研究表明,JCF与JCV有很好的相关性,JCV与TC、JCF与TC也都有很强的相关性.虽然我们借用IF表征引用价值权重,但JCV与IF的相关性并不高,IF对JCF的影响也不及总引用次数的影响大,这是因为这里的IF是所有引用期刊的IF,而不仅仅是被评价期刊的IF,所以新指标也并不存在偏向于高IF期刊的倾向.我们还发现JCV、JCF排序与EF、AIS排序有较好的相似性,而且JCV、JCF结果比EF、AIS结果有更好的自洽性.参考文献:[1]COLEFJ,EALESNB.Thehistoryofparativeanatomy,PartI:Astatisticalanalysisoftheliterature[J].SCIPROG,1917(11):578596.

[2]GROSSPLK,GROSSEM.CollegeLibrariesandChemicalEducation[J].Science,1927,(66):385-389.

[3]CRONINB.Thecitationprocess:Theroleandsignificanceofcitationsinscientificmunication[M].TaylorGraham,London,1984.

[4]RADICCHIF,FORTUNATOS,CASTELLANOC.Universalityofcitationdistributions:Towardanobjectivemeasureofscientificimpact[J].ProcNatlAcadSciUSA,2008(105):17268-17272.

[5]THOMSONREUTERS.JournalCitationReports.[EB/OL].[2012-07-15].http://admin-apps.webofknowledge./JCR/JCR?RQ等于HOME.

[6]DIMITROVJD.KERISV.BAYRYJ.Metrics:journal’simpactfactorskewedbyasinglepaper[J].Nature,2010(466):179.

[7]GRANTB.Newimpactfactorsyieldsurprises[J].Scientist,2010,(24N):8-15.

[8]BERGSTROMCT.Eigenfactor:Measuringthevalueandprestigeofscholarlyjournals[J].CollegeandResearchLibrariesNews,2007(68):314-316.

[9]WESTJD,BERGSTROMCT,BERGSTROMTC.TheEigenfactormetrics:Aworkapproachtoassessingscholarlyjournals[J].CollResLibr,2010(71):236-244.

[10]FERSHTAThemostinfluentialjournals:ImpactFactorandEigenfactor[J].ProcNatlAcadSciUSA,2009,106:6883-6884.

[11]FRANCESCHETM.TengoodreasonstousetheEigenfactor(TM)metrics[J].InformProcManag,2010(46):555-558.

相关论文

期刊评价中的学科交叉度指标

本文是一篇评价论文范文,评价类有关毕业论文的格式,关于期刊评价中的学科交叉度指标相关毕业论文格式范文。适合评价及期刊及学科方面的的大。

期刊评价指标SJR\JIF和H指数的关系

本文是一篇指数论文范文,指数方面专升本毕业论文开题报告,关于期刊评价指标SJR JIF和H指数的关系相关硕士论文范文。适合指数及期刊及学术期。

基于因子的学术期刊评价指标分类

本文是一篇学术期刊论文范文,关于学术期刊相关毕业论文格式范文,关于基于因子的学术期刊评价指标分类相关毕业论文的格式范文。适合学术期刊。

大学学术评价与期刊评价之反思

本文关于学术及评价及期刊方面的免费优秀学术论文范文,关于学术相关论文范文文献,与大学学术评价与期刊评价之反思相关硕士毕业论文范文,。

高校图书馆期刊管理新举措

本文是一篇图书馆论文范文,图书馆类有关毕业论文格式模板,关于高校图书馆期刊管理新举措相关在职研究生毕业论文范文。适合图书馆及电子期刊。