文献综述新.docx

文献综述新.docx

《文献综述新.docx》由会员分享，可在线阅读，更多相关《文献综述新.docx（9页珍藏版）》请在冰点文库上搜索。

文献综述新

网络环境下图像搜索引擎文献综述

前言

1、图像检索的研究意义

随着Internet的发展，多媒体数据特别是数字图像信息成为网上的重要资源，而这些资源的检索都离不开CBIR技术[1]如何快速提取有效的图像特征，如何得到Web中与源检索图像有较高相似度的图像文件，如何采用相关反馈技术得到更精确的图像文件，如何在浩瀚的Internet资源中得到所需要的图像文件。

2、图像检索的研究背景和发展脉络

传统上图像检索方式有：

基于文本的图像检索（Text-basedImageRetrieval，TBIR）和基于内容的图像检索[2]。

TBIR利用文字对图像内容进行描述，此方法简单，但存在两个根本的问题影响了图像信息有效使用：

第一，人工注释图像工作量大且带有主观性；第二，图像内容丰富很难用文字完全表达[3]。

而CBIR突破了基于文本图像检索的局限，它可直接对图像进行分析，抽取特征，利用这些特征建立索引，进行检索。

CBIR能检索到与源检索图像内容相关的图像信息，由于图像内容的复杂与多样性，缺乏对其内容描述的统一标准，导致CBIR系统的通用性得不到保证，而通用性是基于内容的图像检索技术在Internet上实用化的瓶颈。

MPEG-7是国际标准化组织ISO/IEC下MPEG委员会制订的一个国际标准的简称，编号为ISO/IEC15938，其正式名称为多媒体内容描述接口（MultimediaContentDescriptionInterface）[4]。

MPEG-7的研究重点是在多媒体对象的特征提取、数据库的类层次划分、不同数据类型之间的有机联系等方面。

MPEG-7的目标是产生一个描述多媒体内容的标准，支持对多媒体信息在不同层面上的解释和理解，使其可根据用户的需求进行传递和存取。

MPEG-7标准的提出解决了多媒体内容描述的通用性问题，即解决了对多媒体内容描述不统一而导致的对其内容不能相互操作的问题。

发展脉络：

（1）基于链接的Web图像检索

基于Web的图像检索与一般的图像检索有明显的区别，由于Web图像来源于网页，因此包含图像的网页能提供许多与图像相关的信息，如图像周围的相关文字、网页标题文字、图像链接等，而这些信息在图像检索中是可以利用的。

现有的Web图像搜索引擎可分为两大类，即基于内容的和基于链接的。

除了都要利用相关的文本信息外，基于内容的Web图像搜索引擎主要根据图像内容（如颜色、纹理等）为图像建立索引，而基于链接的Web图像搜索引擎则主要根据页面间的超链接来标注图像。

基于链接的Web图像搜索引擎使用文本搜索中普遍使用的HITS[5]PAGERANK[6]等链接分析算法[7]对图像进行分类和标注，在反映图像的语义属性方面具有一定的优势，而且由于这类引擎不对图像本身内容进行处理。

（2）将谱图理论用于图像检索[8]基于谱图理论的学习算法研究已经取得了一些有意义的成果。

基于这些研究成果，有人提出了一种基于基于谱图理论构建Web图像搜索引擎的方案。

（3）多维索引技术

高效的索引技术是基于内容图像检索在大型图像数据库中发挥优势的保证。

索引技术随着数据库技术的发展而发展，随后被应用于基于内容的图像检索领域。

提高索引的效率有两种方法：

缩减特征向量的维度和改进索引算法。

3.1图像检索的技术现状:

基于文本关键词的图像检索技术简单方便，也有成熟的数据库理论和应用系统的支持，但是它不能充分描述资源的丰富内涵，从而造成实际应用上的困难。

于是基于内容的图像检索技术（CBIR）应运而生。

基于内容的图像检索从90年代初以来已成为一个非常活跃的研究领域，已有许多的商业系统和研究原型系统。

它们一般实现了如下功能[9]：

（1）图像的随机浏览功能；

（2）按图例检索的功能；（3）按草图检索的功能；（4）文本检索的功能；（5）按图像类别浏览的功能。

基于内容的检索技术主要包括:

[10]

（1）接口技术,即查询者与检索系统之间的交互方式。

查询者以何种方式提出查询的内容,检索系统如何解释、接受并给出查询结果,查询者针对检索结果给出正确的反馈,进行再次查询,优化结果。

（2）匹配技术,即图像相似性的度量标准。

（3）数据库技术,包括图像存储技术、查找技术,即最快捷、最有效地遍历图像库中每一幅图像,找出所需要的图像。

（4）评价技术。

对不同的检索系统评价系统性能的标准。

根据检索的精度、检索的返回率、检索的速度等来评价系统的优劣。

3.2国外的研究情况：

近年来国外在基于内容的图像检索方面开展了广泛的研究工作并研制了一些检索系统，其中既有各研究机构研制的演示软件，也有商业应用软件。

（1）VisualSeekandWebseek[11]

VisualSeek和Webseek是美国Columbia大学开发的图像检索原型系统。

前者是基于视觉特征的图像搜索工具，后者是基于WWW方式的文本/图像搜索工具，目前已分类的图像有66万多幅，形成了一个极富创新性的图像目录。

这两个系统的主要技术特点是采用了图像区域文章空间关系和从压缩域中提取的视觉特征。

这两个系统中采取的视觉特征是颜色集合基于小波变换的纹理特征。

为加快检索过程，该系统采用了基于二叉树的索引算法，同时还支持基于视觉特征的查询和基于空间关系的查询。

（2）QBIC

IBM的QBIC（QueryByImageContent）系统[12]，它是由IBM公司的Almaden实验室开发的，是第一个商业化的基于内容的图像检索系统，也是目前应用最广的图像检索系统。

QBIC系统是基于内容检索系统的范例。

（3）MARS（MultimediaAnalysisandRetrievalSystem）是由美国UIUC（UniversityofIllinoisatChampaign）开发的系统。

它在CBIR系统中引入了很多领域的知识：

计算机视觉、数据库系统和信息检索。

MARS系统的重点不在于寻找单个的最佳特征表示，而在于将任何不同的视觉特征组织成有意义的检索体系，动态的适应不同用户及各种场合。

MARS将相关反馈技术集成到检索系统的不同层次中。

[13]

（4）Netra[14]

Netra是UCSB大学亚历山大数字图书馆项目组开发的一个图像检索原型系统。

它从分割后的图像区域中提取色彩、纹理、形状和空间位置等信息，并且依靠这些信息从数据库中相似的区域。

（5）VIR（VisualInformationRetrieval）[15]

Virage公司的VIR（VisualInformationRetrieval）图像引擎提供了四种可视属性进行图像的检索（颜色、成份、纹理和形状）。

每种属性被赋予0到10的权值。

该软件对选出的基础图像的色调、色彩以及饱和度进行分析，然后在图像库中查找与这些颜色属性最接近的图像。

（5）ImageSeek[16]

ImageSeek是中科院计算技术研究所数字化技术研究室开发的一个图像检索原型系统，作为“中国数字图书馆示范工程”课题的一个关键技术，目前实现了图像颜色、纹理特征的自动提取及在此基础上的图像检索，同时该系统还包含了基于文本的图像检索及标注功能。

3.3国内的研究情况：

国内对CBIR系统研究相对较晚，但发展迅猛。

（1）国防科技大学的多媒体信息查询和检索系统MIRc，描述了多媒体内容和结构特征以及信息检索数据模型，支持基于内容的多媒体信息查询和检索[17]。

根据用户提供的图像或视频帧例子，基于其颜色和轮廓特征进行查询浙江大学的基于内容多媒体检索系统WebscopeCBR，支持基于关键字、全局颜色、局部纹理、对象形状、颜色布局、纹理布局等的查询。

（2）ImageSeek是中科院计算技术研究所数字化技术研究室开发的一个图像检索原型系统，作为“中国数字图书馆示范工程”课题的一个关键技术，目前实现了图像颜色、纹理特征的自动提取及在此基础上的图像检索，同时该系统还包含了基于文本的图像检索及标注功能。

（3）清华大学也设计了基于内容的www图像搜索引擎mIRgert[18]。

由于mIgRert系统是面向多媒体制作图像素材库的,图库中涉及的内容面较广,缺乏特定的领域知识。

因而采用了主颜色、纹理、颜色直方图、颜色分布、轮廓等通用特征来对图像的内容进行描述。

同时采用GSS一树作为系统的相似索引,颜色直方图和轮廓的相似度计算采用了二次型的距离空间。

而其他特征的相似度计算采用了欧氏距离空间。

（4）浙江大学在基于内容的图像检索技术方面也进行了大量的研究,取得了显著的成绩。

还有微软亚洲研究院、中科院模式识别与智能控制研究所、国防科技大学、复旦大学等也建成了自己的实验系统,进行了相应的研究,并取得了一定的成绩。

以上国内外CBIR系统主要探讨了专用图像与图像数据库的基于内容检索技术，这些CBIR系统处理框架基本相同，只是在特征数据的选取，检索算法，图像相似度比较算法，图像的相关反馈算法以及用户接口的设计等方面有不同。

4、研究中存在的问题及原因

从前文中可以了解到：

目前，基于内容的图像检索已经取得了一些进展，研究人员设计并且实现了一些基于内容的图像检索系统。

但是，这些系统尚未考虑到通用性，对Internet上的基于内容图像检索应用也缺少进一步研究。

并且基于内容的图像检索技术在检索准确性等方面还难以达到实用标准，仍然存在着不少挑战。

5、发展方向概况

基于内容的图像检索发展到今天，它的主要技术成果的思路是：

从图像中分析抽取底层视觉特征（例如图像的颜色、形状、纹理、空间关系等）来衡量图像之间的相似程度以实现基于内容的检索。

在底层的视觉特征上，特征的提取主要采用计算机视觉和数字图像处理技术，而图像相似性的匹配主要利用模式识别技术。

5.1基于内容检索技术的发展趋势：

基于内容的图像检索方法最重要、最关键的就是寻求最接近人类视觉生理、心理特点的图像特征和提高检索过程响应速度两个问题。

（1）相关性。

人类视觉特征与低层特征存在一定的联系,图像的检索方式逐渐向语义性方向发展已逐渐被越来越多的研究人员所认同,相关性是联系这两种特征的重要方法。

（2）性能评价标准和测试集。

任何一项技术都是由该领域中相应的评价标准来推动的。

（3）交叉领域和多媒体的融合。

图像检索技术要达到实用的水平,需要多个交叉领域的共同努力。

目前的系统仅是数据库领域和计算机视觉领域的交叉研究,而且数据库的管理、数据的组织、数据查询方式等方面,也都是今后研究中需要解决的问题。

另外,传统的信息检索领域也是必不可少的,尽管传统的信息检索领域主要关注于文本形式的检索,其中有许多检索模型和技术可以被图像检索领域所借鉴。

5.2模型与算法

为了突破当前图像检索的不足，人们提出了各种各样的模型与算法，其中值得注意的有以下几个方面。

（1）基于链接的Web图像检索

基于Web的图像检索与一般的图像检索有明显的区别，由于Web图像来源于网页，因此包含图像的网页能提供许多与图像相关的信息，如图像周围的相关文字、网页标题文字、图像链接等，而这些信息在图像检索中是可以利用的。

现有的Web图像搜索引擎可分为两大类，即基于内容的和基于链接的。

除了都要利用相关的文本信息外，基于内容的Web图像搜索引擎主要根据图像内容（如颜色、纹理等）为图像建立索引，而基于链接的Web图像搜索引擎则主要根据页面间的超链接来标注图像。

基于链接的Web图像搜索引擎使用文本搜索中普遍使用的HITS、PAGERANK等链接分析算法[19]对图像进行分类和标注，在反映图像的语义属性方面具有一定的优势，而且由于这类引擎不对图像本身内容进行处理。

系统开销也可以大大降低。

对于基于链接的Web图像搜索引擎的研究目前尚处于起步阶段，针对如何将链接分析算法有效地应用于Web图像搜索有一些方案提出，并出现了一些对应的Web图像搜索引擎。

然而，目前这些方案的效果均不够理想，一方面是由于Web图像搜索本身就是一个难度极大的工作，另一方面也可能是研究者尚未找到最适合Web图像信息的数据分析方法。

（2）多维索引技术[20]

高效的索引技术是基于内容图像检索在大型图像数据库中发挥优势的保证。

索引技术随着数据库技术的发展而发展，随后被应用于基于内容的图像检索领域。

提高索引的效率有两种方法：

缩减特征向量的维度和改进索引算法。

（3）将谱图理论用于图像检索[21]

基于谱图理论的学习算法研究已经取得了一些有意义的成果。

基于这些研究成果，有人提出了一种基于基于谱图理论构建Web图像搜索引擎的方案。

5、对网络环境下图像搜索引擎的看法与感想

近十年来，互联网Internet快速的发展，使得网络上资源和网页飞速的增加，如何搜索到用户需求的资源和信息是摆在人们面前的一个重大课题。

但是当今的搜索引擎，主要还是针对文本的搜索，如何针对多媒体的搜索，还有待进一步的提高。

现在的技术都将眼光投向到针对图像的搜索引擎上，因为如果解决了图像的搜索识别问题就可以解决视频的搜索了。

但是，现在主流的搜索引擎提供的针对图像的搜索都是针对图像的周边文字的搜索，一般是针对图像的文件名称，路径名和标签中的关键字进行的文字搜索，而针对图像本身自然含义属性的搜索的发展还有待进一步的提高。

对图像自身属性的搜索主要是参考图像的颜色、形状和纹理等等属性。

图像检索技术尤其是基于内容的图像检索技术虽然已经发展了很多年，检索方法不断的完善和扩展，但是仍然存在很多不足，离实际应用还有一定的距离，许多方面值得深入研究。

在图像特征提取上，现阶段各种新方法层出不穷，但是还不能很好的满足人类视觉感知的要求，有待对特征描述和特征的组合检索方式做进一步的创新尝试。

此外，在图像检索领域中，基于语义的检索是最符合用户要求的方式，而现今的障碍在于图像的底层视觉特征与高层语义特征之间存在着一条“鸿沟”，更多的研究将投入到如何建立起底层特征和语义特征之间的“桥梁”之中来。

图像检索系统最重要的问题是检索的准确性。

而当今此类系统在该问题上还难以达到使用的标准。

研究人员通常把更多精力投入到“交互式系统”的课题上，主要是力求寻找一条将人和计算机统一结合的最佳途径。

因此如何进一步发挥人的主观性在图像检索领域将是必要的研究方向。

在进一步的研究中，重点将转向组合检索方式研究，加入相关反馈功能以改进检索效果，并着重改善检索系统的性能，向实用化方向发展。

计算机网络已成为我们获取图像信息的重要来源之一，如何利用网络特点来查询图像数据是十分必要的。

随着多媒体信息技术的日益发展，图像处理和检索标准的出台，图像检索系统无论在技术上还是实用上都将进入到一个崭新的时代。

[1]黄祥林，沈兰荪.基于内容的图像检索技术研究电子学报，2012（7）:

1067

[2]张水利，任淑萍,王欣峰.基于内容的图像检索技术的现状和发展趋势研究[A]延安大学物理与电子信息学院,2007-03-27

[3]J.SmithandS.-F.Chang,“WebSEEK,acontent-basedimageandvideosearchandcatalogtoolfortheweb”,IEEEMultimedia,2007.

[4]FlicknerM,SawhneyH,NiblackW.Querybyimageandvideocontent:

TheQBICsystem[C].IEEEComputer,2011,28（9）:

23-32

[5]YongR,ThomasS,HuangM.Relevancefeedback:

Apowertoolininteractivecontent-basedimageretrieval[C].IEEETrans.onCircuitsandSystemsforVideoTechnology,1998,8（5）:

644~655

[6]JiangJM,WengY,LiPJ.DominantcolorextractioninDCTdomain[J].ImageandVisionComputing,2006,24:

1269~1277

[7]BachJR,FullerC.TheVirageimagesearchengine:

Anopenframeworkforimagemanagement[C].StorageandRetrievalforImageandVideoDatabases,SPIE,2012,2670:

76~87

[8]RahmaniR,GoldmanS,ZhangH.Localizedcontent-basedimageretrieval[C].ACMWorkshoponMultimediaImageRetrieval,2011,227~236

[9]李国辉,曹莉华,柳伟等.多媒体信息查询和检索系统MIRc[J].小型微型计算机系统,2011,20（9）:

672~676

[11]金莲芳,覃团发,王海霞等.基于结构量化直方图的图像检索方法[J].中国图像图形学报,2012,11

（2）:

180~185

[12]D.Cai,S.Yu,J.-R.Wen,andW.-Y.Ma,“VIPS:

avision-basedpagesegmentationalgorithm”,MicrosoftTechnicalReport,MSR-TR-2003-79,2003.

[13]RuiY,AltrendC,HuangTS,ModifiedFourierDescriptorforShapeRepresentation:

APracticalApproach,In:

ProcofTheWorkShoponImageDataBaseandMultimedia,Seach,2011.

[14]SimoncelliEero,PortillaJavier.Texturecharacterizationviajointstatisticsofwaveletcoefficientmagnitudes.ProceedingsofFifthInternationalConferenceonImageProcessing,volI.Chicago,IL,4-7October1998.

[15]J.Kleinberg,“Authoritativesourcesinahyperlinkedenvironment”,Proc.9thACM-SIAMSymposiumonDiscreteAlgorithms,1998.

[16]S.BrinandL.Page,“Theanatomyofalarge-scalehypertextual（Web）searchengine”,InTheSeventhInternationalWorldWideWebConference,1998.

[17]金韬，任秀丽图像检索中颜色特征的提取与匹配计算机辅助设计与图形学学报，2000,6.12（6）:

459-462.

[18]D.Cai,S.Yu,J.-R.Wen,andW.-Y.Ma,“VIPS:

avision-basedpagesegmentationalgorithm”,MicrosoftTechnicalReport,MSR-TR-2003-79,2003.

[19]S.Yu,D.Cai,J.-R.Wen,andW.-Y.Ma,“Improvingpseudo-relevancefeedbackinwebinformationretrievalusingwebpagesegmentation”,Proc.12thWorldWideWebConference,Budapest,Hungary,2003.

[20]S.GuatteryandG.L.Miller,“Graphembeddingandlaplacianeigenvalues”,SIAMJournalonMatrixAnalysisandApplications,21（3）-2000.

[21]B.Mohar,“SomeapplicationsofLaplaceeigenvaluesofgraphs”,InGraphSymmetry:

AlgebraicMethodsandApplications（G.Hahn,G.Sabidussi,eds.）,volume497ofNATOASISeriesCKluwer,Dordrecht,1997,pages227-275.