基于并行计算的气溶胶定量遥感反演模型实现图文.docx
《基于并行计算的气溶胶定量遥感反演模型实现图文.docx》由会员分享，可在线阅读，更多相关《基于并行计算的气溶胶定量遥感反演模型实现图文.docx（13页珍藏版）》请在冰点文库上搜索。
基于并行计算的气溶胶定量遥感反演模型实现图文
第29卷第6期2009年6月
计算机应用
JournalofComputerApplications
V01.29No.6June2009
文章编号:
1001—9081（200906—1665—04
基于并行计算的气溶胶定量遥感反演模型实现
郭建平1,肖华东2,刘昭华3,曹春香4,张颢4,光洁4。
（I.中国气象科学研究院大气成分观测与服务中心。
北京100081;2.国家气象信息中心计算机室,北京100081;
3.江西理工大学建筑与测绘J=程学院,江西赣州341000;4.中国科学院遥感应用研究所,北京100101
（xiaohd@;jpguo@la.gov.ca
摘要:
为了加快气溶胶光学厚度（AOD反演计算速度,基于SYNTAM串行算法,提出了循环分块划分和聚合通信的策略,利用消息传递模型,在中国气象局的IBMCluster1600高性能计算机系统上,并行实现了从MODIS双星（TERRA和AQUA卫星数据反演AOD。
试验结果表明该方法大大减少了计算时问,与地面太阳光度计实测AOD数据进行对比验证。
发现所有站点处的AOD反演相对误差小于22%,表明这种并行方法可以满足高精度监测空气质量要求。
关键词:
气溶胶光学厚度;并行计算;循环分块;消息传递接口
中图分类号:
TP722.4文献标志码:
A
Parallelimplementationofaerosolopticaldepthretrievalalgorithm
GUOJian.pin91,XIAOHua—don92,LIUZhao—hua3,CAOChun—xian94,ZHANGHa04,GUANGJie4（1.CenterforAtmosphereWatchandService,ChineseAcademyofMeteorologicalSciences,Beifing10081,China;
2.NationalMeteorologicalInformationCenter,Beijing10081,China;
3.SchoolofConstructionandSurveyingEngincering,JiangxiUniversityofScienceandTechnology,GanzhouJiangxi341000,China;
4.InstituteofRemoteScnsingApplications,ChineseAcademyofSciences,Beiiing100101,China
Abstract:
TospeedupthecomputationoftheretrievalofAerosolOpticalDepth（AOD,acyclicpartitionandcollectivecommunicationstImeg,basedonserialcomputationalgorithmofSynergyofTERRA/MODISandAQUA/MODIS（SYNTAMWaSproposedtoarchiveparallelcomputationofAODretrievalfromthebothModerateResolutionImagingSpectroradiometer（MODISsatellite（TERRA,AQUAdatabymessagepassingontheIBMcluster1600highperformancecomputeofChinese
MeteorologicalAdministration.ExperimentalresultsdemonstratethattfleparallelSYNTAMCandecrease
computationtime
greatly.Comparedwithmeasurementsfromground—basedsun—photometers,therelativeerrorofexperimentresultsfromtheparallelSYNTAMislessthan22%incallcases,indicatingthat
itcanmeettheneedsofhi曲accuracysuchasairqualitymonitoring.
Keywords:
AerosolOpticalDepth（AOD;parallelcomputation;cyclicpartitioning;MessagePassingInterface（MPI
0引言
气溶胶光学厚度（AerosolOpticalDepth,AOD是一个重要的地球物理参数,在很大程度上可以指示空气质量。
由于具有全球覆盖和固定的重访周期的特性,卫星遥感可为AOD的遥感反演提供了一个可靠支撑。
在反演陆地下垫面气溶胶的过程中,被动式卫星遥感数据的使用在很大程度上依赖于精确的地面反射率先验知识的获取。
NASA（美国国家航天局AOD业务算法所采用的DDV算法即从MODIS卫星图像上反演10km分辨率的AOD产品,该方法具有较高精度…。
但是,DDV往往要求下垫面具有较低的反射率,如水体、植被等均符合该要求。
而沙漠、海岸带、干旱地区和城市等人为源气溶胶源区,该方法就不能很好地发挥作用了,可以说DDV算法对高反射率下垫面或雪覆盖地区无能为力拉]。
现在通常利用文献[3]提出的DEEPBLUE算法来反演亮目标区比如城市、沙漠的气溶胶光学属性,作为DDV算法的有力补充。
与单角度卫星传感器不同,多角度成像辐射计大大增强了我们从遥感数字信号中分离地气相应贡献的能力,这将极大地增加AOD反演精度。
自20世纪90年代开始,人们就试图利用这种辐射计来反演AOD,文献[4]对多角度卫星遥感反演AOD算法做了大量尝试。
后来,顺航迹辐射计（ATSR的双角度遥感影像数据亦被用来成功反演AODDJ,作为ATSR的延续,ATSR-2以及先进沿轨扫描辐射计（AATSR都获得了成功应用。
一些新型的多角度传感器,比如:
多角度成像分光辐射计（MISR№1和地球反射率偏振和方向观测仪（POLDER传感器也得到了广泛地应用【71。
上述算法大多依赖于先验知识建立的查找表（Look-UpTable,LUT来加速AOD的数值求解。
为了说明AOD中不确定部分,LUT通常假设几种主要大气成分如水汽或者臭氧在给定时间内不变。
LUT通常利用6s（SecondSimulationoftheSatelliteSignalintheSolarSpectrum或MODTRAN
收稿日期:
2008一12—25;修回日期:
2009—03一03。
基金项目:
围家973计划项目（2007CB714407;07￥00502cx;中央公益性基本科研业务专项项目（20007Y001。
作者简介:
郭建平（1978一,男,江西吉安人,助理研究员,博士,主要研究方向:
气溶胶遥感定量反演研究、并行计算;肖华东（1980一。
男,湖北黄冈人,工程师,主要研究方向:
并行计算;刘昭华（1977一,男,山西运城人,讲师,硕士,主要研究方向:
定量遥感、高性能地学计算;曹春香（1964一,女,内蒙古呼和浩特人,研究员,博士,主要研究方向,环境遥感;张颢（1974一,男,陕西西安人,博士,主要研究方向:
定量遥感;光洁（1982一,女,安徽安庆人,博士研究生,主要研究方向:
大气遥感。
万方数据
1666计算机应用第29卷
（MODerateresolutionatmosphericTRANsmittanceandradiance等辐射传输模型建立,这往往涉及到上几何量级的数值计算,这种计算量在普通的PC机上是无法及时完成的。
这对于空气质量监测（主要通过卫星遥感AOD的实时性要求提出了极大的挑战。
幸运的是,在众多的高性能计算方法中,并行计算是一种比较有前途的方法,它具有大大减少计算时间的潜力。
并行计算通常被认为是计算的高端,主要应用于复杂系统和巨大挑战问题的数值模拟,比如:
气候建模,空气质量监测与建模等。
在遥感领域科学家们已经开发了众多的并行算法,并得到了成功而广泛的应用。
比如:
众多的高光谱图像并行处理算法,其中涉及到大量的空间和光谱信息的计算¨““。
尽管遥感应用中的大气校正日益得到关注,但讨论其并行算法的实现的文献却很少。
比如:
文献[12]开发的一种利用TM（ThematicMapper遥感数据估算AOD的快速并行算法。
PC版本SYNTAM串行算法的一个主要不足就是计算时间长,如利用一台配置了2.0GHzCPU和512MB内存的PC机从一幅1km分辨率的5000×5000图像上反演AOD需要几天的时间。
考虑到并行计算的效率和快速处理能力,AOD的并行反演算法可能成为气溶胶遥感监测的一种通用技术。
在文献[13]中已经初步讨论了通过分块技术实现SYNTAM【14]的并行改造。
本文慕于Pc版SYNTAM串行算法,将提出一种新的AOD并行反演算法,它利用循环分块划分和聚合通信技术,并在中国气象局的IBMSystem1600Cluster集群系统上得到了成功应用。
lSYNTAM算法
卫星传感器所获得的辐射经常受到气体分子、大气气溶胶颗粒物的影响。
这也使得确定气溶胶对大气辐射总量的贡献和利用遥感方法确定大气中的气溶胶含量皆成可能。
但是利用卫星遥感影像反演AOD的一个关键问题是区分气溶胶散射与地表辐射对总辐射量的贡献,目前已有多种数学物理方法来对二者进行区分u“,SYNTAM算法即是一个典型代表。
在SYNTAM算法中,仅考虑大气中的短波辐射传输。
文献[16]提出的算法主要解决了非偏振的吸收、散射和辐射传输,而文献【17]为了从AVHRR数据中获取表面反射率,进一步简化了该辐射传输方程。
新型传感器如MODIS具有多个多可见光波段观测能力和较短的重访周期特性,使得实时反演气溶胶光学厚度成为可能。
在TERRA和AQUA卫星过境的约3个小时时间间隔内,基于地表的双向反射率和气溶胶类型不变两点假设,得到:
^^=
（Aj,Ai'b一吩+q（1—4^’e（aj“Ⅲm懈枞r4瑚+掣‘“’“吖（Aj,^itb一吩+6（1一Aj,Aite‘aj-be（O.0∞79AF4.09+即产’”吩7（1式中各符号意义参见文献[14]。
再利用Broyden法[183进行数值拟合,可以求解式（1中相应的波长指数和浊度系数,进而可算出MODIS470,550和660啪等三个可见光波段处的AOD。
基于SYNTAM串行算法和1km分辨率的MODIS图像反演一次覆盖中国内地区域的AOD,首先需准备大约2GB的
14个预先计算的波段辐射文件,且中间计算（包括辐射和几何校正过程又产生大量的数据。
因此,PC机上反演AOD需要很长的时间,只有通过并行方法来加速AOD反演,才能使得该算法具有现实意义。
在本文下一部分将讨论SYNTAM算法的并行化实现。
2并行算法
SYNTAM算法涉及到大鼍数据的数值计算,计算密集且耗时,但计算过程具有像素级并行能力,即每个像素的AOD反演过程可以独立执行。
因此,SYNTAM可以很好的实现并行化改造。
为了从MODIS图像中反演AOD,必须满足下列条件:
首先,线性的SYNTAM算法能够在不同的处理器上执行,即对处理器个数具有很大的伸缩性。
第二,为了有效地实现并行,必须考虑负载平衡问题,这主要通过对MODIS图像的等大小分块来实现。
最后,AOD的反演过程是完全相互独立的,即不同处理器之间没有通信发生（除数据广播外。
如果上述条件满足,就可以在采用消息传递接口在单指令流多数据流模型的并行集群上实现SYNTAM算法的并行化。
在这种结构中,每个处理器上执行相同的SYNTAM代码,但是处理不同的MODIS图像块。
MPI模型是一种最重要的并行编程工具,具有处理器之间的消息传递功能。
考虑到在利用卫星影像反演AOD过程的系统内存限制,该并行算法通过一种有效的数据划分和处理器间的任务映射,实现最小化处理器间的通信和处理器的I/0通信。
通过空间域的循环分块可以有效解决内存限制,并获得较好的负载平衡。
如我们把乃×（I/P的计算任务分配到每个计算节点,其中n表示总的计算任务量,P表示计算节点个数。
循环分块的目的是为了最小化处理器间的通信,最大化负载平衡。
具体过程如下:
首先,把任务域的二维分布转化为一维分布。
这种转化可以通过循环的形式来执行,即为每个处理器分配相同的时间片来确保负载平衡。
然后在一维空间内进行循环分块,最后保证每个子块包含相同数目的计算任务,除非在子块内存在云覆盖的像素,通过一些阈值避免这些像素参与复杂的数值计算。
这一问题将在本文的第4章进行详细论述。
图1为SYNTAM算法的并行实现过程,表示将一个长度为12的向量分别映射到4（图1（a和5（图1（b个节点上执行AOD反演的情况。
l÷÷÷÷÷l-Il5926lO
pop1见p3
I6iio÷÷Il6112738
I{{ii!
PoPlP2PsP4
（b
图1数据分割示意图
下面以对一个长度为M的向量y进行SYNTAM算法的并行设计为例,一维循环分块的AOD反演并行实现过程如下（其中myid为计算节点,nprocs为节点个数:
1初始化;
2广播或分发数据给处理器/节点;
3form—d=1toaprocs・
4计算V（myia
万方数据
第6期郭建平等:
基于并行计算的气溶胶定量遥感反演模型实现1667
51my/d=my/d+l
6计算结束
7收集计算结果,并组合、转换到相同的单位
8以文本和图的形式输出AOD
需要强调的是,在SYNTAM并行算法中,AOD的计算不
存在处理器之间的通信,通信只发生在输入数据的分发和计
算结果的收集。
3并行反演试验
我们在中国气象局的IBMSystemCluster1600集群系统
上进行并行反演试验,该集群系统由IBMSPPower4+,
eServerpSeries655（1.7GHzPower4+/Federation组成,每
个p655节点有8个处理器,共3200个处理器,为大规模计算
问题提供了AIX或Linux的解决方案。
该系统通常采用一种
集群系统管理软件（CSM来管理,对一维分块和MPI,通常选
择AIX5.3操作系统和LoadLeveler来优化资源利用与输出。
为了证明SYNTAM并行算法的有效性,我们以2002年
12月12日10:
30获取的覆盖全国陆地下垫面的TERRA/
MODIS和AQUA/MODIS影像遥感反演AOD为例。
依据本文第1章所描述的SYNTAM算法的要求,采用
TERRA/MODIS和AQUA/MODIS的1,2,3,4,7波段的数据
（其中第1、2波段空间分辨率为250m,第3、4、7波段为500
m的数据作为输入数据。
并在处理前,重采样到1km。
试验
采用Albem等面积投影,大约有4500x4000个像素需要并
行计算。
并在数值计算前提出被云覆盖的像素,因为这些像
素大大的影响着负载平衡,最终影响并行算法的性能。
利用SYNTAM并行算法反演AOD的工作流程如图2所
示。
除MODIS影像几何和辐射校正外,所有步骤均在中国气
象局的IBM1600集群系统上执行。
IBMSystem1600ClusterMODIS/Terra,MODIS/Aqua
LIB遥感影像数据
几何校正、辐射校正
云、水体判
主处理器初始化
二二工二
数据广播
二二工二二
数据划分
=二工二二
副处理器计算
——T一
俪磊藁酚
AOD反演结果
（440rim,550rim,670nm
SYNTAM并行实现代码
图2利用SYNTAM并行算法反演AOD流程
考虑到系统的特殊性,首先需要明确几个相关概念。
加速比（Speedup是并行计算系统中一个经常使用的性能评价指标。
加速比的定义如下:
S。
=7"/T（P（3其中r表示在单个处理器上线性算法的处理时间,r（p表示在P个处理器上并行算法的处理时间。
并行效率（EfficiencyE可以表示为:
q=s,/p（44试验结果与分析
图3显示了第3章所描述的不同节点数AOD并行反演算法的所需的计算时间。
很明显,随着集群系统中所使用的计算节点数的不同,计算时间会发生显著变化。
图3还表明在计算节点从l增加到32个的过程中,处理时间是与计算节点个数成线性关系下降的。
但节点个数超过16个,计算时间下降缓慢,这意味着16个计算节点可能最优。
节点数
图3利用并行SYNTAM反演算法全国陆地下垫面AOD计算时间表1进一步证明了利用并行算法可以有效的降低计算时间,比如利用32个节点需要l738s,而在单处理器上串行处理则需要39个小时。
而且,随着处理器个数的增加,加速比成线性提高（假定处理节点不超过16个,这表明SYNTAM并行算法具有很好的伸缩性。
但在32个节点是,加速比增长缓慢,这主要是由于硬件的限制,比如:
CPU带宽、网络通信等。
或者最有町能的是由于包含云覆盖像素的不参与计算造成的负载不平衡。
表1并行SYNTAM算法基于不同计算节点的计算性能
图4显示了稳定状态下,随着处理节点的增加,并行执行效率和加速比的趋势。
加速比增幅趋缓,而并行效率则逐渐下降。
节点数
图4SYNTAM并行算法的计算效率和加速比
如图5所示为利用SYNTAM并行算法得到的AOD计算结果。
由图可知AOD的空间分布,并可作为初始场用于空气质量建模预报空气污染。
厦莒琳#
得较犯犏
万方数据
1668计算机应用第29卷
图5基于MODIS影像反演AOD的结果
为了验证SYNTAM算法的并行计算精度,我们收集了与MODIS过境时匹配的中国气象局气溶胶监测网多个观测站获取的太阳光度计实测AOD,并进行了对比（详见表2。
由于中国气象局气溶胶监测网仅装备了三个常用波段的太阳光度计,因此470nm和550nln的AOD值需要利用文献[19]所提出的方法进行插值计算得到。
波长为550nm的AOD反演相对误差如表2所示,最大误差值为17%。
初步反演结果表明这种并行算法在气溶胶遥感监测可行性非常强,但是在今后的研究工作中需要进一步提高AOD反演的自动化水平和精度。
表2利用地面观测AOD对SYNTAM并行算法反演结果验证
5结语
本文所描述的SYNTAM并行算法基于MPI和循环分块实现。
通过一个个例反演试验。
证明该算法是一种有效的陆地下垫面AOD反演方法。
不同数目计算节点的试验表明,该算法具有很强的伸缩性,而且能够最小化处理器间通信,同时最大化负载平衡。
同时,与串行算法相比,SYNTAM并行算法能够达到降低AOD反演时间,具有近似线性的加速比的目标。
循环分块极大地提高了AOD计算的并行效率,即意味着在试验中达到了最优的负载平衡。
结果表明SYNTAM并行算法具有较高的性能,因此可以说将来AOD的近实时自动反演具有很好的前景,如其实时AOD产品可以广泛地应用空气质量模型和气候模式。
参考文献:
【l】REMERLA,KAUFMANYJ,TANRED,eta1.TheMODISecro-solalgorithm,products,andvalidation【J1.JournaloftheAtmos・phericSciences,2005,62（4:
947-973.
【2】ENGEL—COXJA,HOLLOMANCH,COUTANTBW,eta/.QualitativeandquantitativeevaluationofMODISsatellitesen￥orda-taform舀onalandurbanscaleairquality【J】.AtmosphericEnvi—ronment,2004,38（16:
2495—2509.
【3】HSUNC,TSAYSC,KINGMD,eta1.AerosolpropertiesoverbriShtreflectinglouise唧ons【J】.1EEETransactionsonGeoeci—enceandRemoteSensing,2004,42（33:
557-569.
【4JMARTONCHIKJ'DINERD.Retrievalofaerosolopticalproperties
frommulti—anglesatelliteimagery【J1.IEEETransactionsonGeo-scienceandRemoteSensing,1992,30（22:
223—230.
【5】GREYWMF。
NORTHPRJ,LOSS0.Computationallyefficientmethodfor
retrievingaerosolopticaldepth
fromATSR-2andAATSRdatafJ】.AppliedOptics,2006,45（12:
2786—2795.
【6】DINERDJ,ABDOUWA,CONELJE,eta1.MISRaerosol睁trievalsoversoutheroAfricaduringtheSAFARI-2000dryseasoncampaign【J】.GeophysicalResearchLetters,2001,28（16:
3127—3130.
【7】DEUZEJL,HERMANM,GOLOUBP,eta/.CharacterizationofaerosolsoveroceanfromPOLDERJADEOS.1【J】.GeophysicalRe—searchLetters,1999,26（10:
1421—1424.
【8】CHANGCI.Hyperspectralimaging:
Techniquesforspectraldetec・tionandclassification【M】.NewYork:
Kluwer,2003.
【9】PLAZAA,PL忆AJ,VALENCIAD,eta/.AMEEPAR:
Parallelmorphologicalalgorithmforhyperspeetralimageclassificationinbet—erogeneousnetworksofworkstations【EB/OL】.【2008一lO—lO】.http:
//www.umbc.edu/rssipl/people/aplaza/Papers/Joumala/2006.LNCS.Ameepar.pdf.
【101PI.AzAA,VALENCIAD,PLAZAJ,eta/.Commoditycluster-basedparallelpro
升级会员 