iAuthor面向机构科研评价的应用实现.docx

iAuthor面向机构科研评价的应用实现.docx

《iAuthor面向机构科研评价的应用实现.docx》由会员分享，可在线阅读，更多相关《iAuthor面向机构科研评价的应用实现.docx（11页珍藏版）》请在冰点文库上搜索。

iAuthor面向机构科研评价的应用实现

iAuthor面向机构科研评价的应用实现

　科研评价作为机构科研管理和绩效管理的重要工具和手段，对于优化科研资源配置，提高科研管理水平，促进科研机构的持续健康发展具有重大意义[1]。

在面向机构的评价实践中，科研评价通过建立科学合理的评价指标体系，对机构一系列科学技术活动的影响及其作用进行衡量。

随着开放学术运动和网络化科学交流的不断深入，传统文献计量的局限日益突显，替代计量、科研成果计量、科研发现计量逐步兴起[2]。

ORCID（OpenResearcherandContributorIdentifier，开放研究者和贡献者标识符）作为研究者标识符方面的通用国际规范，成为支持丰富的新型评价数据源融汇和互操作的中间件，在学术交流和评价体系变革环境下为机构的多维度评价提供了解决方案，因此，基于ORCID的“中国科学家在线——iAuthor”在机构科研评价工作中具有广阔的应用前景。

本文通过调研机构科研评价方法及其指标的发展概况，总结了机构科研评价活动的发展特征，根据ORCID在机构科研评价中的价值和iAuthor的建设机制，分析基于ORCID的iAuthor在机构科研评价中的应用前景，构建基于iAuthor的机构科研评价指标体系，并依此提出iAuthor面向机构科研评价的建设方向。

　　1机构科研评价的发展分析

　　1.1机构科研评价方法及指标概述

　　科研成果是反映一个机构科研能力和学术影响力的重要标志，主要包括著作、论文、专利等。

文献计量学以这些成果类型为计量单元，对科研活动产出的分析包括“质”和“量”两方面的评价[3]。

在“量”方面，通过采用科研成果发表的数量统计指标（例如发文总量和人均发文量），以及借助一些参照对象（知名数据库收录论文数等），评估机构的科研产出能力。

“质”的方面通常以引文分析法衡量科研成果及机构的学术影响力，根据测度对象的不同，包括被引频次等基于期刊或单篇文献的指标，以及基于科研人员或机构的指标，前者能够测度相应文献的影响力、权威性及被同行关注的程度，后者目前应用较多的是h指数，用于考察作者或机构的学术影响力[4]。

面对传统文献计量方法在科研评价应用中存在的时滞过长、影响力片面等局限[2]，一系列旨在考虑评价中高质量论文作用和不同学科领域差异的修正指标被提出，例如，自然指数[5]和g指数[6]分别通过高质量期刊发文和高被引论文反映科研成果的增长情况，相对影响因子和学科平均特征因子[7]则提供了学科标准化后研究影响力评价的视角。

随着信息化程度不断提高，网络成为展示机构科研活动和科研成果的重要平台，链接分析、搜索引擎评价等网络计量方法为科研机构评价提供了新途径。

网络计量的指标主要基于机构在网络学术活动中的表现情况，如西班牙网络计量学实验室根据科研机构相关信息在主要商业搜索引擎中的网络存量、网络影响力，制定了网页数、反向链接数、文件格式丰富度、学术论文数等指标并赋予相应权重[8]，以科研机构排名的方式反映其学术影响力和国际声誉。

　　在Web2.0环境下，科学博客、Facebook、Twitter等社交网络成为学术活动交流和科研成果传播的重要平台，论文层面评价、替代计量学、科研成果计量等新型计量方法逐步兴起。

PLoSOne为科研用户或其所在科研社群提供了评估单篇文章价值的方式，论文层面计量涉及的指标包括浏览量、保存量、讨论量、推荐量、引用量[9]。

替代计量学在论文层面评价等研究的基础上产生，通过捕获Web2.0环境下产生的信息传播交流数据，对社交网络平台中科研成果的影响力进行计量评价，可弥补引文分析、影响因子等文献计量评价方法的局限性[10]。

目前，出现了PIRUS、ImpactStory、PlumAnalytics等新一代评价指标计划，PIRUS项目（PublisherandInstitutionalRepositoryUsageStatisticsProject）为存储期刊论文的机构仓储、出版社记录和整合单篇论文层面的在线使用数据，建立了国际通用标准[11]，ImpactStory为科研人员提供了衡量和共享科研过程全谱段科研产出学术影响力的替代计量指标[12]，PlumAnalytics将替代计量指标划分成使用情况、获取情况、提及情况、社交媒介和引用情况[13]。

在开放存取与开放科学的大背景下，替代计量学的发展出现了面向科研成果计量的新趋势，计量单元逐步深入，可基于研究对象[14]或科学发现[15]全面而深入地分析科学研究成果。

　　根据以上对评价方法发展过程的分析，科研评价内容涉及文献计量、网络计量、替代计量等维度的指标体系。

由于机构科研影响力所涉及的评价对象较为广泛，除了科技文献产出和科研人员外，奖项、项目、申请资助、基础设施等在机构评价的过程中也发挥着重要作用[7]，这些评价维度围绕科研机构建立指标，用于反映科研机构的科技研发、学术声誉、设施建设等方面的影响力。

　　1.2机构科研评价活动的发展特征

　　随着机构科研评价方法从传统文献计量到科学计量学2.0的转型，评价对象逐步涉及非传统媒介的新型科研成果，并朝着细粒度方向发展。

面对分散于不同信息系统的数据集成和互操作的需求，科研评价在发展过程中的关键问题主要涉及评价来源数据的遴选和收集[16]，科研评价活动主要存在如下特征。

（1）机构科研评价需要多维度的评价指标体系

　　机构科研评价的应用实践中，目前存在普遍依赖引文数据、指标体系单一、缺少多维因素综合评价等问题。

面对在线学术交流的新模式，科研评价需要在传统引文分析的基础上，将社会网络环境下新型计量方法的指标体系作为补充评价内容。

文献计量、网络计量、替代计量、项目、奖项等评价内容分别从各自的视角测度机构的科研影响力，因此，考虑机构影响力涉及的多种因素、建立多维度的评价指标是实现机构全方位科研评价的基础。

（2）新型科研成果成为重要的评价对象

　　目前数字科研环境下，科研成果的类型不仅限于论文、专著等常规出版物，还包括预印本、实验室日志、研究报告等灰色文献，以及科学数据、课件、图片、音视频、程序算法、软件产品等非文本资源。

这些新型科研成果在数据驱动的学术交流模式中所占比重越来越高，提供了丰富而有价值的分析数据。

美国国家信息标准组织（NationalInformationStandardsOrganization，NISO）在替代指标计划项目中探究了数据集、视频、软件等非传统科研产出的评价方法、最佳实践，并构建评价标准[17]，新型科研成果在科研评价活动中的作用得到了越来越多的重视。

　　（3）评价对象的唯一标识促进评价数据的准确集成

　　有效的评价活动要求从不同的内容来源全面而准确地收集数据，因此需要科研人员、学术成果等科研对象的唯一标识符体系作为中间件，贯穿于科研人员的研究过程，支撑分布于全世界机构仓储、预印本系统、开放出版平台、数字图书馆、长期保存系统等数据源的学术交流内容的融汇和互操作。

对于机构科研评价，通过将人员唯一标识符集成于科研工作流中，建立各标识符规范之间的相互关联，可精确识别特定机构人员的科研成果，并全面汇聚该成果资源在各来源系统或平台中的使用、获取、引用等数据，从而易于解决特定科研人员评价数据的跨系统集成问题[18]。

　　（4）评价数据应保证可持续获取并建立关联

　　评价指标的多维度就意味着需要考虑评价数据源的复杂性，评价的来源数据既要针对具体评价内容遴选权威的数据库、出版社、学术网站等，还要通过合作或开放获取的方式，保证数据是可获取、可理解、可再利用的。

面对丰富的评价数据源，在建立数据可持续获取和利用机制的基础上，如何将数据关联并以可视化或融入知识服务的方式呈现，是实现多维指标体系高效、直观地应用于机构科研评价的关键。

　　2基于ORCID的iAuthor在机构科研评价中的应用前景分析

　　2.1ORCID的发展概况

　　ORCID作为研究者标识符方面的通用国际规范，通过为研究者提供16位唯一标识符的注册来解决作者名称歧义问题，致力于全球范围科学家与学术贡献的开放、精确关联。

ORCID为科研人员提供了识别并连接科研活动及其产出的框架和工具，将其所属机构、出版物、基金组织与科研用户的ORCID标识符关联，并嵌入至科研工作全谱段流程中，支持投稿、基金申请、资助评估、文章发布等科研活动[19]。

作为开放、非营利的国际共享平台，ORCID为科学家免费提供持久的国际化标识符，通过开放ORCID接口的方式将标识符集成至合作系统，促进系统间数据的互操作。

ORCID对于“人”的更加开放和国际化的唯一标识方案，使其在Elsevier、PLoS等大型出版商，WellcomeTrust、NIH等权威基金组织以及众多高校、科研机构、信息系统中得到了广泛的应用，目前已有超过120家的会员机构实现了与ORCID的合作关联[20]。

　　2.2ORCID在机构科研评价中的价值

　　随着机构科研评价活动的发展，结合ORCID的建设机制和服务特征，ORCID对于机构科研评价活动的应用价值体现在三个方面。

（1）关于“人”唯一标识的国际规范

　　科研人员是科研机构的主体，文献、奖项等机构评价的大部分测度对象与科研人员存在直接或间接的关系，而且数字环境下逐步向“以人为主”关联组织科研资源的模式转变[21]，因此围绕“人”衡量科研影响力的各方面数据是机构评价的重要依据。

ORCID标识符提供了“人”的识别方案，通过确认科研活动的相关人员及其名称变化，提供“人”与“产出”的精确关联，因此可贯穿科研人员学术经历和科研工作全流程，追踪学术成果。

作为具有国际通用规范性的唯一标识符，ORCID搭建起关联其他标识符和信息系统的桥梁，建立了与其他作者标识符（ResearcherID、ScopusAuthorID）、对象标识符（例如DOI）的关联，实现与CrossRef、DataCite等系统的数据交互[18]。

因此，借助ORCID标识符，能够为机构科研评价形成以科研人员为中心的准确而全面的成果列表，并通过汇聚科研成果在各分布系统的使用数据为评价提供丰富的依据。

（2）丰富的数据源关联的开放共享状态

　　ORCID以开放作为基本的建设原则，通过提供开放接口实现关联系统的数据交互。

目前，众多本地仓储（科研管理系统等）、国际信息系统（Scopus等）、大型数据库（WebofScience等）、服务工具（ImpactStory等）通过嵌入ORCID集成和更新数据[22]，这些系统、应用或工具从不同角度反映了科研成果的传播、利用情况，能够为支撑多维度的科研评价提供丰富的数据源。

随着国际规范唯一标识符成为促进跨平台内容识别和互操作的重要组件[23]，ORCID作为关联信息系统和服务应用的开源中间件，也将逐步成为各评价数据源关联交互和集成融汇的中枢。

　　（3）支持多类型科研产出

　　目前，ORCID支持37种类型的科研产出，划分为常规出版物（期刊论文、专著等）、会议文档（会议论文、海报等）、知识产权（专利等）、其他科研产出（数据集、技术标准等）[24]，支持多种灰色文献和非文本资源的导入、管理、检索。

然而，这些新型科研成果无法通过被引频次、影响因子等传统文献计量方法来评价[10]，需要引入创新评价内容来扩展评价体系。

在开放科学环境下，以社交网络用户使用行为作为视角的替代计量指标对于评价数据集、代码等原始科研产出具有潜在优势[25]，PIRUS、ImpactStory、PlumAnalytics等采用替代计量方法的新型评价应用均通过ORCID接口实现数据的集成和交互[16]，因此，科研人员可通过其ORCID标识符快速获取评价应用中的影响力信息，ORCID通过融汇替代计量评价数据为扩展创新评价内容提供了新契机。

　　2.3iAuthor应用于机构科研评价的前景分析

　　iAuthor是中国科学院文献情报中心于2014年10月建设并推出的国际化科学家标识体系中国服务平台，基于ORCID提供作者唯一标识符，为中国科学家快速融入全球学术圈提供支持[26]。

iAuthor的技术框架和核心功能以ORCID作为支撑，ORCID对于科研评价的价值使得iAuthor应用于机构科研评价具有较好的前景。

（1）iAuthor基于ORCID建立中国科学家国际识别体系，借助于ORCID提供的国际性、通用研究者标识符规范，确保机构人员及其研究工作可以被唯一识别，建立机构人员与其科研产出的精确关联，能够保证机构科研评价中关于科研产出和学术活动等评价内容的准确和全面。

（2）iAuthor平台实现了与ORCID系统的交互，通过ORCID这一关联外部系统的中间件，获得的丰富的评价数据源可以为iAuthor所用。

　　（3）借鉴ORCID通过开放接口集成数据源的方式，iAuthor系统框架中关联服务模块同样支持丰富数据源的融汇，已扩展了与WebofScience、中国科学引文数据库（CSCD）、机构知识库（IR）等系统的开放接口[27]，目前可为机构科研评价提供发文量、被引频次等指标。

秉承ORCID建设机制的开放原则，iAuthor通过合作能够继续扩展与更多系统的关联交互，从而支撑机构学术影响力的多维度综合评价。

　　（4）借助ORCID，科研人员可以快速加入全球学术圈，iAuthor促进了中国科学家学术声誉、科研成果影响力的传播，这种逐步形成的在线科研传播和社交网络环境，也使得未来在平台中扩展和分析评论、推荐、转载等替代计量指标数据成为可能。

　　（5）为科学家个人的科研产出管理提供了一系列增值服务，通过嵌入自动分析和可视化的工具，可直观地展现和分析评价指标的统计数据和发展趋势，包括论文被引频次的统计分析、研究主题的聚类分析、科研产出的趋势分析等[26]。

　　3基于iAuthor构建机构科研评价指标体系

　　综合考虑机构科研评价的现有研究，并结合iAuthor和ORCID的建设机制和功能特征，依据所制定的评价指标设计原则，笔者构建了多维度的计量指标体系，并设计了iAuthor支撑机构科研评价的系统服务方案。

　　3.1评价指标的设计原则

　　针对科研活动的复杂性和多目标性，需要首先制定科研评价的标准，为科学合理地选取评价指标提供可遵循的依据。

（1）分析体现评价目标的关键性指标

　　构建科学而有效的评价指标体系，应基于对评价目标和评价对象的分析，并结合评价方法和指标研究的发展趋势，设计主要的、关键性的指标。

iAuthor面向科研人员的成果管理模式能够反映其所在机构的学术生产力，因此基于iAuthor的机构科研评价可从学术成果、科研人员、所在机构三个层面进行测度。

通过上文对目前重要科研评价方法的综述可知，引文分析等传统文献计量是科学量化分析评价的理论基础，网络计量兼顾了富文本和网页分析，而科学计量学2.0的转型促进了替代计量等新型计量方法的兴起，因此围绕不同测度对象的文献计量、网络计量、替代计量应作为指标建立的关键维度。

另外，承担的项目、所获奖项、基金资助等，也是直接反映机构学术生产力的关键要素，因此同样需要纳入机构评价体系中。

（2）参考科学的、权威的指标研究

　　指标的设计不仅要参考一些国内外较为认可的成熟指标体系，还要把握相关权威管理部门关于评价工作制定的宏观政策和指导意见[28]。

由于iAuthor的机构数据源主要为以中国科学院为主的国内研究所和高校，因此，本文以中国科学院科技评价研究组的“中国科学院知识创新工程研究所评价基础指标元素”和中国科学评价研究中心的“中国高校科技创新竞争力评价指标”作为指标体系构建的权威、指导性依据。

　　（3）选取易于获取的指标

　　评价指标不仅要求科学、合理、有效，而且需要保证评价工作易操作。

关于各评价维度下具体指标的遴选，其来源数据应易于获得，并且是可分析处理的规范数据。

基于ORCID的iAuthor平台可选取的指标数据，一方面是目前iAuthor已有或未来可通过手动添加或外部系统关联导入的数据源，例如SCI被引频次、项目基金，另一方面是与ORCID建立合作并具有权威评价内容的数据源，例如ImpactStory的替代计量指标数据，iAuthor可通过与ORCID的同步操作来获取这些外部数据，经过进一步规范、整合、加工后用于科研评价。

　　3.2多维度机构科研评价指标体系的设计方案

　　通过参考目前机构科研评价方法及其指标的研究，并遵循上述评价指标的设计原则，笔者构建了基于iAuthor的适用于国内研究所和高校的评价指标体系，其中各评价维度下的具体指标如表1所示。

（1）文献计量维度

　　iAuthor已分别建立与文献计量评价的国际权威数据来源（WebofScience）、国内权威数据来源（如CSCD）的关联交互，因此采用WebofScience、CSCI）的各类发文数据和引文数据，作为测度机构学术产出数量及其影响力概况的文献计量指标，包括SCI总被引频次和篇均被引频次、SCI/CSCD收录论文总数。

此外，构建高被引论文量、高影响因子期刊的发文情况等反映高质量出版物影响力的指标，并以h指数作为衡量机构作者学术影响力的文献计量指标。

（2）网络计量维度

　　网络计量方面的指标借鉴了西班牙网络计量学实验室的科研机构排名指标。

一方面由于ORCID支持多类型的科研产出，以及iAuthor通过关联IR能够批量导入科学数据、报告等，因此设置资源种类数这一指标，以满足对这些灰色文献和非文本资源组织管理的需求；另一方面以GoogleScholar中可检索的学术论文数作为指标，用于衡量在权威搜索引擎中机构学术论文的收录情况。

　　（3）替代计量维度

　　ORCID实现了与众多新型科学交流网站（例如Facultyof1000Prime）、开放获取出版平台（例如PLoS）、文献题录管理工具（例如Mendeley）、学术评价网站或工具（ImpactStory、PlumX等）的信息交互[19]，这些在创新科学交流模式下产生的新型社交媒介为其提供了丰富的替代计量数据源。

通过参考PLoS“论文层面计量”（ALM）以及ImpactStory、PlumAnalytics替代计量的指标分类体系[29]，从替代计量维度的使用、推荐、保存、社交媒介四个方面遴选指标。

在表1所示的具体指标中，既有借助外部数据源获取的评价内容，例如，使用情况指标中的PLoS、Dryad浏览量，保存情况指标中的被存储至Mendeley等文献题录管理工具的用户数，以及F1000等推荐指标，又包括面向iAuthor平台的本地资源，未来可通过扩展系统功能，添加成果下载、主页浏览等统计频次数据的指标，以及嵌入博客等社交媒介接口，为机构的科研产出或主页设置关注、收藏、标签、转载等指标。

以衡量其公众传播影响力。

　　（4）基金项目维度

　　机构的获批基金以及所承担的项目是测度机构科研实力、学术声誉、研发水平的关键标准，iAuthor也拟于二期开发中在个人信息编辑中增加项目基金信息[27]。

ORCID引入了基金资助作为数据类型，并通过与berResearch开发的berWizard工具关联，使得用户可以将国际多个基金组织的资助信息添加至其ORCID账号[30]。

因此，本文借鉴berResearch面向高校提出的基金维度信息，为机构设计项目数、项目产出量、资助总额/平均额、资助来源的基金组织、获得资助的机构人员数作为基金项目维度的指标。

另外根据国内的具体情况，增加了“国家自然科学基金面上项目”等指标来表征基金项目的权威度。

　　（5）其他维度

　　其他还有一些指标能够反映科研机构高水平的人才队伍、科研成果、科技研发、基础设施的建设情况，在此根据国内研究所和高校的实际情况，参考“中国科学院知识创新工程研究所评价基础指标元素[31]”和“中国高校科技创新竞争力评价指标[32]”。

中科院研究所和国内高校可选择适合自身情况的关于杰出科研人员和科技创新团队的支持计划作为评估人才的指标，如“中科院院士”“工程院院士”“百人计划”“教育部杰出人才”等。

科研机构将获奖成果作为评价指标时，常把成果获奖等级、获奖排名和成果数目作为衡量的标准，例如“国家最高科学奖”“国家自然科学奖”“国家科技进步奖”等奖项。

对于机构的基础设施建设，选取“国家级重点学科数”“国家级、教育部重点实验室、中心、基地”等作为评价指标。

　　4iAuthor面向机构科研评价的建设方向

　　iAuthor现有的用于机构评价的数据和服务的功能还较为单一，为了使上述指标体系在iAuthor平台中实现应用，更加高效、可持续地支撑满足用户个性化需求的机构科研评价服务，iAuthor建设机制和系统功能的未来发展方向应包括三个方面。

（1）可持续性科研评价的功能框架

　　通过对系统框架各模块的扩展，iAuthor实现机构科研评价功能的系统框架如图1所示。

在iAuthor评价数据的获取层，对于与ORCID关联的外部系统，iAuthor可通过与ORCID的交互来同步获取其相关数据；iAuthor也可选择与第三方系统合作或直接嵌入其开放接口，保证数据获取的稳定、规范、可持续；另外通过系统功能的扩展，iAuthor平台自身也能够提供部分使用统计数据用于科研评价。

评价资源层针对机构及其人员、成果等评价对象，根据评价指标体系，通过对具体评价指标的描述、组织，为评价服务层中多样化的服务方式提供支撑。

iAuthor科研评价功能的可持续性建设既要保证评价数据的持久获取和来源丰富，又需要考虑评价体系针对新类型资源的可扩展机制，以及满足科研用户需求的服务形式，因此，iAuthor未来需进一步扩展与更多权威数据源的关联，将科学数据等原始产出资源在科研活动中的传播情况和价值贡献度也作为衡量机构学术影响力的标准。

　　图1iAuthor面向机构科研评价的系统功能框架

（2）增值服务形式的多样化扩展

　　对于机构信息的组织和呈现，目前iAuthor平台仅提供了机构名称的检索入口和科研人员列表的浏览页面，未来应面向科研评价需求进一步扩展增值服务形式（如图1中评价服务层所示）。

为了使用户能够更加直观地获取和分析机构评价数据，需要为iAuthor中研究所和高校建立各自的机构主页，并模块化展示各评价维度中的指标内容。

在机构和个人主页中，扩展基于指标数据的统计分析服务，并通过嵌入一些统计分析和可视化工具，提供多样的可视化方式。

例如，部分文献计量指标可按作者、年份等维度进行图示分析，而研究主题和机构合作等趋势图可直观地表现机构的研究重点及其在同行交流中的位置。

另外针对用户具体的评价目标和需求，iAuthor应在增值服务模块中添加指标数据的组合定制功能，实现面向机构科研评价工作场景的指标定制分析服务。

　　（3）加强机构管理员的职责

　　本研究提出的一些直接以机构为测度对象的指标数据，如项目、奖项等，需要机构自我添加和定期维护。

因此，充分发挥机构管理员的职责是保障机构信息质量和完整度的关键，除了目前的批量导入、机构人员注册和IR著作添加外，机构管理员的职责还应包括基金项目信息的添加和成果关联、人才信息的补充以及获奖情况、基础设施等信息的描述，并且定期对其进行维护和更新。

　　5结语

　　在大数据时代下的数字科研环境中，科研评价面临着如何从海量增长的多源、异构数据中遴选并集成多维度评价数据的问题，基于数据产生者“人”的精准标识符——ORCID号，iAuthor实现了作者与其科研产出的精确关联，为开展机构评价甚至科学家个人评价提供了新平台。

由于科研活动的复杂性以及评价目标的多样性，iAuthor当前集成的数据无法涵盖科研评价目标的所有量化指标，这就意味着未来有两种将iAuthor应用于科研评价的思路：

一是采用替代计量学的思路，实