论文发表、论文指导
周一至周五
9：00&22：00
基于OAI-PMH的本地资源元数据开放研究
2008年第4期目录
&&&&&&本期共收录文章20篇
　　[摘要]针对基于OAI-PMH开放本地资源数据库元数据问题，描述网络化环境中获取元数据信息事实上的标准OAI-PMH协议规范、体系结构，介绍基于CALIS教学参考信息元数据规范，利用ASP技术，提供本地教参资源数据库开放元数据接口，是本地资源基于OAI-PMH协议开放元数据的应用实践研究。以期通过开放本地数据库元数据，达到提升数据库系统互操作性和开放性的目的，真正做到资源共享。 中国论文网 /1/view-154616.htm　　[关键词]OAI-PMH本地资源元数据互操作 　　[分类号]G250.7 TP391.3 　　 　　1　OAI―PMH简介 　　 　　OAI是一个旨在促进网络信息资源发布与共享的合作组织，意为开放文档先导，1999年10月由美国图书馆和信息资源委员会(CLIR)、数字图书馆联盟(DLE)等发起，在SantaFe召开的一次中心议题为“电子出版文献的互操作”的会议上第一次提出了OAI设想，主要讨论了元数据搜寻(MetadataHarvesting)方法，于2000年9月形成了“Santa Fe协议”，即最早的Alpha版协议。2000年的ACM(美国计算机学会)数字图书馆会议上，对在实现“SantaFe协议”过程中遇到的问题进行了审查和讨论，并于2001年1月发布Beta版，即1.0版，2001年7月发布了Beta2.0版，即1.1版，2002年6月发布了产品版，即2.0版，目前为OAI-PMH协议的最新版本，由于广泛的应用推动已经成为事实上的标准。2005年3月，Google已采用OAI-PMH协议收割澳大利亚国家图书馆的数字对象仓储数据。OAI的目标是通过元数据搜寻方式实现Web上不同信息发布机构之间的互操作，提供一个与应用无关的互操作框架。协议较简单，便于OAI提供者的松散与动态加入。虽然OAI-PMH的标准元数据比较简单，以无修饰词的DC为核心，运用于一些复杂的数据结构时存在障碍，但随着电子政务的深化、电子文件的大量产生以及这些数据与OAI之间转换技术的进一步完善和成熟，OAI-PMH在数字资源网络化与共享方面将会有更为广阔的前景。截至日，仅仅是在OAI注册的数据提供方仓储已达715个。 　　 　　当数字图书馆的定义扩展到包括一些传统对象，例如图像和电子印刷品等研究数据时存在一个需求，即需要链接到通常很大并且基于网络被不同研究机构分享的数据库上，因此基于分布式环境建设和服务的数字图书馆模式是近几年网络信息技术的发展趋势，得到普遍肯定和广泛采用。美国弗吉尼亚理工大学1997年发起的NDLTD(基于网络的博士论文数字图书馆)，台湾建立的eThesys系统，均采用遵循统一元数据格式和标准规范，通过OAI-PMH集中元数据分散式的建库模式。我国的CALIS高校学位论文库二期项目、CALIS教学参考信息库等，也采用这种思路和框架，各校可以独立开发自己的系统，但要求各校统一元数据格式，并按OAI―PMH发布自己的元数据记录。CALIS中心则按照各校提供的BaseURL，通过OAI-PMH收割各参建馆的元数据，将各成员高校的元数据信息集中起来，以此为基础提供检索服务和全文链接服务，从而实现对分布式系统的统一查询。 　　 　　2　开放性信息系统结构 　　 　　基于OAI-PMH分布式建库模式属于一种松散的互操作模式，不需要使用统一的数据库系统，也不需要各校人工提交数据。可以在本地建立自己的系统后，按协议规定的格式和提交方式来定义数据，即可实现数据的自动提交。因此，自行开发的大连理工大学(以下简称本校)教参信息管理系统，在稳定运行、具备各项基本功能及服务、较好地满足本校具体情况的同时，其数据资源作为全国教参信息分布式数据库资源的组成部分，必须考虑本地数据资源的开放性，基于相关元数据标准和数据规范，提供开放元数据接口和全文链接接口。 　　本校教参信息管理服务系统是大连理工大学211工程2期文献保障系统的一个子项目，依据CALIS关于教参书的元数据规范和标准开发设计，目前数据仓库中包含4200余条书目数据和1700余条课程数据，并且链接教学参考书超星电子书数据库，现已能提供2100余本电子版教参书的全文资源。本系统选用SQL SERVER数据库平台，基于IlS，利用ASP及VB技术开发设计，采用B／S和C／S混合架构，运行环境为WindowsServer，具备教参信息及课程信息提交、查询、修改、管理及发布功能。教参信息管理与服务系统结构设计如图1所示： 　　基于元数据开放互操作及全文链接需求，系统设计提供OAI接口和OpenCRt,接口，实现本地教参资源元数据及全文的开放性，可以作为支持OAI-PMH协议的数据收割的数据提供者(Data provider)，对来自服务提供者(Service provider)的请求做出响应，为远程中心收割系统提供元数据信息。同时作为信源，自建资源系统必须支持遵循OpenURL协议的全记录(全文)链接，使用户检索到元数据记录后，可通过OpenURL技术链接到本地的全文电子书数据库。 　　 　　3　基于0AI―PMH开放元数据的实践与研究 　　 　　3.1　OAI-PMH结构 　　OAI-PMH是一个在分布式网络化环境中获取元数据信息的标准协议，通过定义标准化的接口，本地仓库服务器能够将其元数据有选择地提供给外部应用程序和其它服务器。OAI-PMH并不是替代已有的其它元数据互操作协议，例如Z39.50，而是提供基于HTTP协议上传输XML文件的一种易于实现的方法。遵循OAI协议的系统依据其任务不同，分为数据提供者(Data provider)和服务提供者(Service provider)。OAI请求使用册中的GET或POST方法，至少包括一个谓词，“verb=OAI方法名”的参数，用一个“?”连接在baseURL后面，当使用多个参数时，用“&”连接。对于HTTPPOST方法，参数必须包含在POST的消息体中，成功的OAI响应以OAI要求的格式XML向服务提供者提供元数据，服务提供者“收割”元数据，并基于元数据提供增长服务，基于OAI-PMH的元数据操作结构如图2所示： 　　 　　 　　 　　 　　OAI接口的主要功能是封装一个响应信息的XML文件，执行对每个请求动作的Verb参数检查、响应处理，OAI-PMH协议定义了6个谓词，完成SP与DP之间的交互。其中，Idenfi，ListMetadataFormats和ListSets提供对存储基本信息的描述，用户协议及其他有关规定。元数据收获的实质性工作是由ListIdentLfiers，G-etRecord和ListRecords这三个谓词完成。 　　流控制resumptionToken标识，也称之为重新开始标记。一些OAI请求的返回结果是列表，这种列表可能很长，需要分割成一系列的协议请求和响应。分割的方法是在数据仓库
的全局描述XML文件中指定返回记录的最大值。分割的原则是返回结果是一个不完整的列表和一个resumptionToken，但记录必须是完整记录。请求方为了得到完整的列表，需要继续重发一个或多个带resumptionToken的请求，从而得到一个完整的列表。流控制可选属性可能包括总记录数、起始光标、元数据格式、下一个记录的唯一标识符、超时日期等。 　　Identifier为记录的唯一标识符，metadataPrefix为获得元数据的格式类型，From指定返回记录的开始时间，Until指定返回记录的结束时间，Set用于实现按组选择性收割，可以选择按主题等分组。 　　 　　3.2　基于OAI-PMH接口结构 　　自行开发的本校教参信息系统作为数据提供者，CALLS教参元数据收割服务器作为服务提供者，通过本校教参信息管理服务系统的元数据开放接口实现元数据收割。OAI元数据开放接口应具备响应每个verb请求的功能，执行相应的命令动作，检查参数，对非教参仓库中元数据记录所采用的元数据格式的参数，要调用元数据转换模块实现格式转换，并封装一个响应信息的XML文件。 　　ASP能与任何ActiveX scripting语言相容，除了可用VBSpt或JScript语言来设计外，还可通过plug-in的方式，使用由第三方所提供的其他脚本语言，例如Perl、Tcl等，另外可以通过ADO非常方便地实现数据库的访问。前期系统利用ASP开发WEB程序，因此仍然利用ASP实现系统的OAI接口设计开发。 　　3.2.1　通过一个XML配置文件对本地教参信息仓库的基本配置信息进行描述包括本地教参信息数据仓库名称、OAI元数据搜寻接口的URL、协议版本、管理人员电子邮箱及最后更新时间等。 　　3.2.2　创建XSL文件实现元数据映射及XML文件内容格式化控制OAI较多采用数据提供者提供的元数据格式为DublinCoret6l元数据核心集，为元数据信息的发布提供了统一的接口，是否支持其它格式可由数据仓库自行决定。CALLS制定了高校教学参考书信息管理与服务系统数据规范，其中明确规定了教学参考信息元数据与DC元素对应关系和教学参考书元数据与DC元素对应关系，根据这个数据规范，建立教参信息元数据映射，完成本地教参信息数据格式到DC格式的转换，在两者之间建立起元素及其属性和值间的对应关系，程序上通过创建XSL文件实现元数据映射及XML文件内容格式化。OAI-PMH开放元数据接口流程如图3所示。 　　在数据库配XML描述文件中，定义了数据仓库的基本信息，包括数据仓库名称、管理员EMAILS、是否支持OAISET、元数据格式、数据库表描述等。在global.asa中利用MSXML创建DOM对象。MSXML是指微软的XML语言解析器，全称为Microsoft XML Core Services，用来解释XML语言。就好像HTML文本下载到本地，浏览器会检查HTML的语法，解释HTML文本然后显示出来一样，要使用XML文件就一定要用到XML parser。不仅微软有，像IBM、SUN都有自己的XMLparser。MSXML 4.0提供了大量的新功能和功能改进，包括对XML模式语言的支持，更快的分析器和XSLT引擎，提供对XML流更好的处理及更好的一致性支持等。 　　3.2.3　支持OAI-PMH协议的数据提供者采用HTTP协议的方式响应信息中有可能也包含HTTP协议的一些状态信息，比如错误信息。元数据记录信息以XML格式返回，较多采用DC格式，具体的形式有三个部分组成：①头文件(head)，由记录标识附(uniqueidentifier)和时间戳(datestamp)组成。记录标识附与记录一一对应，是记录在数据库中的唯一标识。时间戳用于存储记录创建、修改和删除的时间信息。②元数据(metadata)，记录的核心部分，存储完整的元数据信息。③关于(about)，一般由元数据的版权信息、使用元数据的条件等内容组成。 　　例如，baseurl?verb=ListRecords&metadataPrefix=oai_dc，解析ListRecords动词页面的metadata部分和about部分，如图4所示。其中参数指定metadataPrefix=“oai-dc”，该条记录的标识符是oai：lib.dlutedu：jcdate／1278，创建时间是，元数据metadata部分包括多项教参书元数据信息对应的DC格式显示，包括书名、出版者、IsBN等，相关文献信息为courseID，即课程标识，关于部分声明该条元数据版权属于大连理工大学图书馆。 　　3.2.4　按标准协议开发的程序进行解析在对某些数据提供方采集的数据解析时，会抛出异常或报错，这往往是由于数据提供方返回的数据没有严格遵守协议规定的LSchematics2。 　　 　　4　结论 　　 　　图书馆本地数据库资源，包括分布式建库的本地资源和一些特色遗留数据库资源，可采用ASP等多种编程语言基于OAI-PMH实现元数据开放，提升数据库系统的开放性及互操作性。真正做到资源共享，关键是只有严格遵守协议和相关数据标准规范，才能保证数据提供的顺利完成。OAI-PMH采用HTTP协议基础平台，抛弃了以往实现互操作时那些复杂的分布式计算技术、组件技术与网络技术，大大降低了开发难度和成本，使开放本地资源元数据变得易于实现。且sP和DP可以自动控制开放服务对象和获取元数据对象，体系结构开放、灵活。HTFP及XML的开放性标准，使得OAI提供的信息为规范、严格、自解释的结构化信息，非常有利于进行信息交互、共享及二次开发。
转载请注明来源。原文地址：
【xzbu】郑重声明：本网站资源、信息来源于网络，完全免费共享，仅供学习和研究使用，版权和著作权归原作者所有，如有不愿意被转载的情况，请通知我们删除已转载的信息。
xzbu发布此信息目的在于传播更多信息，与本网站立场无关。xzbu不保证该信息（包括但不限于文字、数据及图表）准确性、真实性、完整性等。元数据收割协议OAI-PMH_图文_百度文库
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
元数据收割协议OAI-PMH
上传于|0|0|文档简介
&&元数据收割协议OAI-PMH
阅读已结束，如果下载本文需要使用0下载券
想免费下载更多文档？
定制HR最喜欢的简历
下载文档到电脑，查找使用更方便
还剩6页未读，继续阅读
定制HR最喜欢的简历
你可能喜欢>> 对特德OAI-PMH数据提供者接口
对特德OAI-PMH数据提供者接口
所属分类：
下载地址：
tde_oai-.tar.gz文件大小：127.83 kB
分享有礼！ 》
请点击右侧的分享按钮，把本代码分享到各社交媒体。
通过您的分享链接访问Codeforge，每来2个新的IP，您将获得0.1 积分的奖励。
通过您的分享链接，每成功注册一个用户，该用户在Codeforge上所获得的每1个积分，您都将获得0.2 积分的分成奖励。
Este é o protocolo OAI-PMH Data Provider para o sistema TEDE.
Dúvidas e sugest?es participe do fórum:
This is a OAI-PMH Data Provider Interface for TEDE.
Sponsored links
源码文件列表
温馨提示： 点击源码文件名可预览文件内容哦 ^_^
（提交有效评论获得积分）
评论内容不能少于15个字，不要超出160个字。
评价成功，多谢！
下载tde_oai-.tar.gz
CodeForge积分（原CF币）全新升级，功能更强大，使用更便捷，不仅可以用来下载海量源代码马上还可兑换精美小礼品了
您的积分不足，优惠套餐快速获取 30 积分
10积分 / ￥100
30积分 / ￥200原价 ￥300 元
100积分 / ￥500原价 ￥1000 元
订单支付完成后，积分将自动加入到您的账号。以下是优惠期的人民币价格，优惠期过后将恢复美元价格。
支付宝支付宝付款
微信钱包微信付款
更多付款方式：、
您本次下载所消耗的积分将转交上传作者。
同一源码，30天内重复下载，只扣除一次积分。
鲁ICP备号-3 runtime:Elapsed:138.308ms - init:0.1;find:0.8;t:0.5;tags:0.3;related:53.8;comment:0.2; 5.8
登录 CodeForge
还没有CodeForge账号？
Switch to the English version?
^_^"呃 ...
Sorry!这位大神很神秘，未开通博客呢，请浏览一下其他的吧机构知识库OAI互操作数据同步策略研究
姚晓娜, 祝忠明, 卢利农, 刘巍, 张旺强. 机构知识库OAI互操作数据同步策略研究. 现代图书情报技术, ): 14-18Yao Xiaona, Zhu Zhongming, Lu Linong, Liu Wei, Zhang Wangqiang. Research on Data Synchronization of OAI Interoperability of Institutional Repository. New Technology of Library and Information Service, ): 14-18&&
Permissions
机构知识库OAI互操作数据同步策略研究
中国科学院国家科学图书馆兰州分馆 兰州 730000
姚晓娜 E-mail:
姚晓娜, 祝忠明: 提出研究思路, 设计研究方案;姚晓娜: 进行系统开发;刘巍: 系统功能测试;张旺强: 论文起草;卢利农: 论文最终版本修订。
*本文系中国科学院知识创新工程重要方向项目“研究所机构知识库建设”的研究成果之一。
*本文系“2013 中国机构知识库”学术研讨会会议论文。
【目的】解决在中国科学院联合机构知识库系统建设过程中出现的服务提供方与数据提供方的数据同步问题。【应用背景】中国科学院联合机构知识库系统基于OAI元数据互操作接口构建而成, 服务提供方只有保持与数据提供方的数据一致, 才能向用户提供准确有效的数据。【方法】对现有的OAI接口进行扩展, 实现资源集合更新、映射关系更新以及无效数据检测等功能, 并自定义新的元数据模式和操作方式。【结果】扩展后的OAI接口可有效实现机构知识库资源集合及条目的数据同步, 支持复杂元数据格式的数据交换和共享。
机构知识库;
Research on Data Synchronization of OAI Interoperability of Institutional Repository
Yao Xiaona,
Zhu Zhongming,
Lu Linong,
Zhang Wangqiang
The Lanzhou Branch of National Science Library, Chinese Academy of Sciences, Lanzhou 730000, China
[Objective]To solve the data synchronization problem between service provider and data provider existed in the construction process of the Federated Institutional Repository of CAS.[Context]The Federated Institutional Repository of CAS is built on the OAI metadata interoperability interface and provides accurate and effective data to user only if the service provider keeps pace with the data provider.[Methods]This paper extends the OAI interface and implements functions such as resource sets updating, map relation updating, invalid data detection and customizes a new metadata format and operation.[Results]The extended OAI interface can effectively realize the data synchronization of resource collections and items between institutional repositories and support data exchange and sharing of the complicated metadata format.[Conclusions]This method effectively solved the practical problem, and can be referenced by similar systems.
Institutional Repository;
Interoperability;
Data synchronization
1 引 言中国科学院联合机构知识库依托于分布在中国科学院各个研究所的机构知识库, 基于OAI接口实现元数据开放获取功能, 通过定期统一收割数据并再组织的方式, 建立起一个全院范围内的数字资产的汇集和共享平台[,]。截至2013年7月, 已有83家来源机构知识库, 数据总量达到44.1万。本文的工作正是基于中国科学院联合机构知识库, 在系统开发过程中, 针对OAI元数据互操作接口在数据同步方面的局限性, 对原有接口进行扩展, 有效地解决了实际问题。开放元数据获取协议(Open Archives Initiative Protocol for Metadata Harvesting, OAI-PMH)[]是一个在分布式网络环境中获取元数据信息的标准化协议, 它将OAI的思想扩展到数字图书馆领域, 通过提供一个元数据互操作框架, 整合网络上不同结构的数字资源, 并以统一的格式为用户提供增值服务[]。OAI-PMH互操作协议以其简单、低门槛、跨平台等特性, 在数字图书馆领域得到广泛的应用。如国外的美国国家数字图书馆项目, 基于OAI-PMH协议对分布在各州的数字图书馆进行有效的数据整合, 给用户提供了一个统一检索的平台[]; 国内的CALIS高等学校学位论文数据库项目在国内高校图书馆的范围内, 采用“各成员单位在本地建立自己的学位论文全文数据库、通过OAI-PMH协议集中元数据”的分布建库方式, 构建了全国性的高校学位论文检索平台[]。2 OAI数据同步问题OAI-PMH协议定义了两种逻辑角色:数据提供方(OAI Data Provider)和服务提供方(OAI Service Provider)。数据提供方支持OAI接口, 将本地的资源对象元数据发布出去。服务提供方通过OAI接口从数据提供方获取数据。服务提供方只有保持与数据提供方的数据一致, 才能向用户提供准确有效的数据。因此, 维护服务提供方和数据提供方的数据同步, 成为基于OAI的集成服务平台需要解决的一个关键问题。由于OAI接口提供的信息较为简单, 使得服务提供方无法对资源对象进行有效的组织和更新。本文在建设联合机构知识库的过程中遇到的相关问题如下:(1) OAI接口提供的ListSets命令只能获取资源集合的简单列表, 无法获取资源集合之间的层次关系, 如在机构知识库中, 某个专题属于某个部门、某个子部门属于某个部门等关系。根据ListSets命令也无法实现更新资源集合的功能, 需要花费大量时间, 手动更新资源集合。(2) OAI接口提供的是一种增量查询机制, 只能获取数据提供方在指定时间段内新增或修改的数据, 不能获取被删除的数据, 从而导致服务提供方和数据提供方的数据不一致。而且, 在机构知识库当中可以将一条数据映射到多个资源集合当中, 而OAI接口是按照资源集合进行收割的, 如果某个资源集合下的某条数据已收割, 则不再收割。这样就导致了服务提供方和数据提供方的数据映射关系不一致。(3) OAI-PMH协议采用都柏林核心元数据(Dublin Core, DC)作为元数据交换的标准集合, 但是由于DC的核心元素只有15个, 无法完成机构知识库中复杂元数据格式的数据收割。综上所述, 根据现有的OAI接口, 无法解决服务提供方和数据提供方的数据同步问题, 因此, 在实际应用中, 许多研究人员对OAI接口进行了扩展和改进。如在CALIS高等学校学位论文数据库项目中, 针对OAI接口没有提供关于删除数据的处理问题, 提出了一种采用“表单记录”的方式处理删除数据, 数据提供方需要存储最新的删除信息, 服务提供方获取删除信息后, 删除本地的相应数据, 并清除删除信息[]。这样做的优点是只需要获取删除信息, 就可以完成数据同步, 缺点是需要单独开辟空间用于存储删除信息, 而且资源集合和数据映射关系没有更新。Haslhofer等提出将通过OAI-PMH接口获取的元数据转换为关联数据, 并提供SPARQL查询接口, 解决了OAI接口只能从资源集合层次检索资源对象的问题, 并突破了只能通过OAI接口获取数据的限制[]。其中, 数据同步的问题通过关联数据中的关联关系解决, 优点是解决了删除数据和数据映射的问题, 缺点是没有考虑到资源集合对象的同步问题。3 数据同步策略在实际工作中, 本文结合项目本身的应用需求, 对OAI接口进行扩展, 增加了如下几个命令, 其中ListTopComms、ListSubComms以及ListSubColls是对原有接口ListSets的扩展, 用于获取部门和专题之间的层次关系, GetOwningColls是一个新的接口, 用于获取条目和专题之间的映射关系, 解决删除条目和条目映射的问题。(1) ListTopComms: 获取所有的顶层部门, 返回的结果当中包含部门的名称和标识符。(2) ListSubComms: 获取指定部门下的子部门列表, 需要指定参数commSpec(指定部门的标识符), 返回的结果当中包含子部门的名称和标识符。(3) ListSubColls: 获取指定部门下的专题列表, 需要指定参数commSpec, 返回的结果当中包含专题名称、专题标识符、专题下的条目数。(4) GetOwningColls: 获取指定条目所属的专题列表, 需要指定参数itemSpec(指定条目的标识符)。本文基于上述命令, 分别实现了资源集合更新、映射关系更新以及无效数据检测等功能, 下面对这些功能的实现方案进行说明。3.1 资源集合更新首先, 需要在服务提供方的本地数据库中, 增加用于存储资源集合在数据提供方中的唯一标识符的字段、以及存储专题集合的条目数量的字段。在对某个数据提供方进行收割时, 先调用ListTopComms获取所有的顶层部门, 将返回结果与服务提供方资源集合进行对比(通过唯一标识符), 如果是数据提供方中存在而服务提供方不存在的部门, 则建立相应的部门并记录唯一标识符; 如果是数据提供方中不存在而服务提供方存在的部门, 则给予删除; 如果是两个集合当中都存在的唯一标识符, 则对比部门名称, 如果部门名称有所修改, 则更新部门名称。然后遍历顶层部门列表, 先调用ListSubColls, 通过指定commSpec, 获取某个顶层部门下的专题列表, 将返回结果与服务提供方相应的资源集合进行对比, 处理逻辑与顶层部门的处理逻辑基本相同, 不同的是ListSubColls的返回结果当中还包含了专题的条目数量, 需要对相应的数据记录进行更新; 然后再调用ListSubComms, 通过指定commSpec, 获取某个顶层部门下的子部门列表, 将返回结果与服务提供方相应的资源集合进行对比, 并做相应处理。处理之后还要对子部门列表进行遍历, 更新各子部门下的子部门和专题列表。资源集合更新的处理逻辑如所示:图1
图1 资源集合更新的处理逻辑3.2 映射关系更新在机构知识库当中, 通过条目映射这一功能, 可以使得一个条目可以属于多个专题。为了获取这种映射关系, 本文增加了GetOwningColls接口, 用于获取某个条目所属的专题列表。为了提高更新效率, 该功能执行的前提条件为, 在完成对某专题的收割后, 如果发现某个专题的条目数量与数据提供方不同, 则对该专题下的所有条目进行检测。检测过程中, 如果发现某个条目的所属专题与数据提供方中的所属专题不同, 则进行相应修改并更新。3.3 无效数据检测在实际应用中, 经常存在这样的情况, 某个数据提供方导入了某一批数据, 在一段时间之后, 由于各种原因, 将这批数据删除, 而此时服务提供方已经将该条目收割到本地数据库当中。为了保持和数据提供方的一致, 需要对本地数据库进行检测, 删除无效数据。但是联合机构知识库目前已有几十万条数据, 如果对每条数据都进行检测, 将会花费很多时间。所以本文采用检查专题数据量的方法, 对比数据提供方中的专题数据量和本地专题的数据量(从数据库中查询), 如果服务提供方专题的条目数量大于数据提供方中的专题条目数量, 则对该专题下的所有条目进行检测。本文采用GetOwningColls接口进行检测, 如果返回的结果为空, 表示该条目不在数据提供方当中, 对该条目进行删除。在收割过程中, 映射关系更新和无效数据检测实际上属于同一个步骤, 如果GetOwningColls的返回结果为空, 则视为无效数据, 否则进行映射关系更新。处理逻辑如所示:图2
图2 映射关系更新和无效数据检测的处理逻辑在对数据提供方收割元数据的过程中, 先调用ListTopComms、ListSubComms以及ListSubColls接口对资源集合进行更新, 然后对各个专题调用ListRecords接口获取上次收割以来更新的条目元数据。所有的专题收割完成后, 再对于条目数量与数据提供方不一致的专题, 进行映射关系更新和无效数据检测。这样就保证了服务提供方和数据提供方的数据一致性, 改进后的收割流程如所示: 图3
图3 改进后的收割流程3.4 自定义元数据格式CASDC对于机构知识库来说, 需要对多种不同类型的资源对象进行描述管理, 而面临着在一个开放的信息和知识环境中与多种不同的应用进行交换和互操作的问题, 很难使用一种统一的元数据标准来满足这种多样化的应用需求。因此, 本文在机构知识库的建设过程中, 根据实际应用需求, 本着融合和协调利用多种元数据标准的原则, 以QDC元数据标准为基础, 建立了一种自定义的元数据格式CASDC, 用于描述中国科学院机构知识库中的资源对象。CASDC主要增加了以下几个方面的元数据元素。(1) 责任者部分:contributor.inventor(专利发明人)、contributor.patentee(专利权人)、contributor. agent(专利代理者)。(2) 主题和描述部分:discipline(学科主题分类)、subject.major(学位论文专业)、description.version(版本)、description.projectname(项目名称)、description. projectintro(项目简介)、description.cooperation(合作情况)。(3) 类型部分:type.patent(专利类型)、type. country(专利国别)、type.award(获奖类别)。(4) 引用相关部分:citation.volume(卷)、citation.issue(期)、citation.pages(页码/数)、citation. conferencename(会议名称)、citation. conference- place(会议地点)、citation.conferencedate(会议日期)、citation.indexed(检索工具收录情况)。(5) 日期部分:date.application(专利申请日期)、date.copyrighted(版权日期)。(6) 标识部分:indentifier.citation(引用格式)、identifier.applicationnumber(专利申请号)、identifier. patentnumber(专利号)、identifier.certificatenumber(专利证书号)、identifier.doi(对象DOI标识符)。(7) 其他:degree.level(学位论文类别)、degree. grantor(学位授予单位)、degree.place(学位授予地点)、publisher(出版者)、publisher.place(出版地)。在收割过程中, 本文将自定义元数据格式CASDC加入到OAI接口中, 使得服务提供方可以最大限度地获取数据提供方的信息, 解决了机构知识库中复杂元数据的互操作问题。4 实践效果分析在建设中国科学院联合机构知识库过程中, 本文对服务提供方使用的元数据收割器OAIHarvester2.0[]和数据提供方的OAI接口OAICat分别进行扩展, 增加上述接口和自定义元数据格式CASDC的相关配置, 并对原有的收割流程进行修改, 实践表明, 改进后的收割流程能够自动完成资源集合的更新, 有效地进行映射关系的更新和无效数据的检测, 明显地解决服务提供方和数据提供方的数据同步问题。目前, 联合机构知识库的收割周期为每周一次, 下面列出2013年5个月的第一周收割后的数据同步情况, 如所示:表1表1
表1 5个月的第一周数据同步情况收割日期资源集合更新映射关系更新(条目数)无效数据检测(条目数)新增删除更名日562016997日23013164日200122日5601417日100004
表1 5个月的第一周数据同步情况5 结 语本文针对联合机构知识库建设过程中的数据同步问题, 从实际应用需求出发, 对OAI接口进行了扩展, 通过增加若干命令的方式, 实现了资源集合更新、映射关系更新以及无效数据检测等功能, 并自定义元数据格式CASDC, 解决了服务提供方和数据提供方的数据同步问题。本文对OAI的扩展是在保持OAI基于默认的公共元数据开放服务接口的基础上进行的, 并不影响与相关系统之间基于OAI的各种标准互操作和服务。本文利用OAI的扩展机制, 通过扩展支持自定义元数据模式和操作, 解决了机构知识库系统之间基于复杂元数据格式进行数据交换和共享的实际需求。但如何使这种扩展能够更好地兼容或融入OAI标准体系, 将继续进行深入研究。
祝忠明, 马建霞, 张智雄, 等. 中国科学院联合机构仓储系统的开发与建设[J].
[本文引用:1]
[CJCR: 1.193]
王丽, 孙坦, 张冬荣, 等. 中国科学院联合机构知识库的建设与推广[J]. 图书馆建设, 2010(4): 10-13. (Wang Li, Sun Tan, Zhang Dongrong, et al.
Construction and
Promotion of Federal Institutional Repositories in Chinese Academy of Sciences[J]. Library Development, 2010(4): 10-13. )
[本文引用:1]
[CJCR: 1.87]
Open Archives Initiative [EB/OL]. [2013-07-29]. .
[本文引用:2]
徐方, 张静. 国内OAI-PMH协议研究综述[J]. (Xu Fang, Zhang Jing.
Outline on Chinese Research of OAI-PMH[J].
[本文引用:1]
Van De Sompel H, Lagoze C.
Notes from the Interoperability Front: A Progress Report on the Open Archives Initiative[C]. In: Proceedings of the 6th European Conference on Research and
Advanced Technology for Digital Libraries, Rome, Italy. 2002: 144-157.
[本文引用:1]
赵阳, 姜爱蓉. 基于OAI的“CALIS高校学位论文全文数据库”建设[J]. 上海交通大学学报, 2003, 37(S): 234-238. (Zhao Yang, Jiang Airong.
The Construction of CALIS Electronic Thesis and
Dissertation Database Based on OAI[J]. Journal of Shanghai Jiaotong University, 2003, 37(S): 234-238. )
[本文引用:1]
[CJCR: 0.411]
Haslhofer B, Schand l B.
The OAI2LOD Server: Exposing OAI-PMH Metadata as Linked Data[C]. In: Proceedings of the Linked Data on the Web Workshop, Beijing, China. 2008.
[本文引用:1]
刘勋, 祝忠明. DSpace系统元数据获取功能的实现[J]. (Liu Xun, Zhu Zhongming.
The Implementation of Metadata Harvesting Function for DSpace Repository System[J].
[本文引用:1]
[CJCR: 1.073]
. ):90-93, 144
对中国科学院联合机构仓储系统的建设思路和实施过程中遇到的主要问题进行讨论,包括如何选择合适的机构进行试点和示范,以推动机构仓储的实施;如何进行中文机构仓储软件系统的定制和扩展开发;如何集成现有系统和组织机构仓储服务;如何建立联合仓储系统等.
... 1 引 言中国科学院联合机构知识库依托于分布在中国科学院各个研究所的机构知识库, 基于OAI接口实现元数据开放获取功能, 通过定期统一收割数据并再组织的方式, 建立起一个全院范围内的数字资产的汇集和共享平台[1,2] ...
... 1 引 言中国科学院联合机构知识库依托于分布在中国科学院各个研究所的机构知识库, 基于OAI接口实现元数据开放获取功能, 通过定期统一收割数据并再组织的方式, 建立起一个全院范围内的数字资产的汇集和共享平台[1,2] ...
... 开放元数据获取协议(Open Archives Initiative Protocol for Metadata Harvesting, OAI-PMH)[3]是一个在分布式网络环境中获取元数据信息的标准化协议, 它将OAI的思想扩展到数字图书馆领域, 通过提供一个元数据互操作框架, 整合网络上不同结构的数字资源, 并以统一的格式为用户提供增值服务[4] ...
... 的方式处理删除数据, 数据提供方需要存储最新的删除信息, 服务提供方获取删除信息后, 删除本地的相应数据, 并清除删除信息[3] ...
分布式资源的集成以及互探作是当前数字图书馆发展过程中亟待解决的重要问题,而OAI-PMH元数据获取协议的提出为实现分布式资源的互探作提供了一套良好的解决方案.本文通过对国内该协议的相关研究论文进行调研,总结了国内研究者在协议理论以及应用方面的相关进展情况.
... 开放元数据获取协议(Open Archives Initiative Protocol for Metadata Harvesting, OAI-PMH)[3]是一个在分布式网络环境中获取元数据信息的标准化协议, 它将OAI的思想扩展到数字图书馆领域, 通过提供一个元数据互操作框架, 整合网络上不同结构的数字资源, 并以统一的格式为用户提供增值服务[4] ...
... 如国外的美国国家数字图书馆项目, 基于OAI-PMH协议对分布在各州的数字图书馆进行有效的数据整合, 给用户提供了一个统一检索的平台[5] ...
... 的分布建库方式, 构建了全国性的高校学位论文检索平台[6] ...
... Haslhofer等提出将通过OAI-PMH接口获取的元数据转换为关联数据, 并提供SPARQL查询接口, 解决了OAI接口只能从资源集合层次检索资源对象的问题, 并突破了只能通过OAI接口获取数据的限制[7] ...
(Lanzhou Branch of the National Science Library,CAS,Lanzhou 730000,China)
In order to implement the metadata harvesting function in DSpace Repository System,this paper discusses how to integrate OAIHarvester2.0 software in dspace1.4 Repository System.
讨论如何将元数据获取软件OAIHarvester2.0集成于数字资产管理系统DSpace1.4，为DSpace系统提供开放元数据获取功能。
... 0[8]和数据提供方的OAI接口OAICat分别进行扩展, 增加上述接口和自定义元数据格式CASDC的相关配置, 并对原有的收割流程进行修改, 实践表明, 改进后的收割流程能够自动完成资源集合的更新, 有效地进行映射关系的更新和无效数据的检测, 明显地解决服务提供方和数据提供方的数据同步问题 ...
机构知识库OAI互操作数据同步策略研究
[姚晓娜, 祝忠明, 卢利农, 刘巍, 张旺强]