数据分布策略将逻辑相关数据聚集存储在相同节点上,对其特定属性进行哈希操作,使得属于同一哈希分区的数据以及属于不同数据表但具有相同哈希分区序号的数据能够集中存放在同一节点上。哈希技术将数据表在机群上进行分布,以分区作为处理单位,分析算法只需执行Map 任务,进行分析处理并直接完成结果输出,从而可以避免Reduce 操作带来的巨大时间开销,大幅度提升连接查询与分析处理的效率。
然后在MapReduce 上开发增量式模式挖掘快速算法,针对对地观测系统在时间粒度、空间尺度、语义层次上的时空聚类、时空关联等特征,通过遥感卫星数据的时空分析,提取面向不同时空知识类型与形式的高层时空模式,建立聚类、关联、时序、分类、不确定性等挖掘为一体的统一模式知识发现体系框架,实现高效的模式分析与挖掘以及知识表达解释。
6 基于共享知识库的多数据中心协同处理及云平台技术
对地观测活动的最终目标是以满足用户需求为导向,为不同应用需求的用户提供有价值的卫星数据产品和信息资源。因此,通过建立分布式多中心计算环境,实现海量卫星数据分布式存储与共享,使用户能从不同节点方便地获取所需数据、并能直接获得数据分析与知识发现中有价值信息。实现该目标的关键在于建立共享知识库、多中心协同计算以及分布式高性能的卫星图像数据管理与归档。
6. 1 共享知识库
通过卫星数据管理中心主节点的一级知识目录( 即共享知识库) 及操作工具,从宏观上引导用户使用所发现的信息。同时通过常驻在各个分节点上的二级知识目录,提供详细信息的线索,使用户能进一步了解信息,确定需要获取的信息内容、获取途径和方法,并支持通过网络传输查询结果。对内部用户,通过知识目录及操作工具,既可查询检索其他站点的信息,也可维护管理自己的知识目录。对外部用户,通过知识目录及其浏览工具发现信息、概略或详细地了解信息,并通过适当途径获取信息。同时信息共享知识实施还应包括提供使用卫星数据服务界面的详细描述。
6. 2 多中心协同计算
通过构建分布式多中心计算环境,开发算法实现有效地调度计算资源以及跨异构系统高性能计算,将独立的或大量松散绑定的数据处理任务动态地分配给闲置计算资源,实现动态资源调度及任务分配。
6. 3 分布式高性能卫星遥感信息归档云平台
遥感信息的应用需要为各类需求用户提供一个基础平台。运用云计算模式[33],借助云平台先进的基础架构与管理方式,构建有效的遥感信息公共服务平台,提供权限管理、遥感图像智能化搜索、图像资源浏览、结果获取、订单处理及反馈等基本功能。利用高性能处理终端集群[34]可在遥感数据处理中建立云平台来处理卫星遥感数据,证明云计算模式具有较好的应用潜力。
云平台的构建包括3 个不同任务,即虚拟化、平台搭建以及服务提供[35]。其中,虚拟化是整个云平台构建的基础,在此基础上,平台搭建实现对信息资源以及相应虚拟化资源的调度和管理,服务提供则将相应信息资源转化为服务。采用虚拟化软件( 如Vmware,Virtual PC 等) 在虚拟服务器和底层硬件之间建立一个抽象层,然后将卫星遥感相关应用模块迁移到虚拟层上,不同应用模块共享底层硬件计算和存储资源。在建设时,服务器、存储设备以及应用程序等通过虚拟化软件整合成统一资源,动态地给各个应用系统按需分配资源,实现应用的动态迁移。
平台搭建具体包括搭建公共云、业务云和支撑云3个平台,对相应信息和数据资源等进行整合。其中,公共云将可供公共使用的数据和信息以及其他相应资源放在该平台上; 业务云为数据中心内部各个业务部门的相互连通而搭建; 支撑云为公众云和业务云的搭建和运行提供资源和技术层面的支持。服务提供使所建云平台向不同的集成系统提供丰富的云端服务。通过分布式高性能卫星遥感信息归档云平台,为用户提供能进入数据分析、知识查询的专用入口。
7 结语
本文提出大数据环境下卫星对地观测数据集成系统建立与应用中亟待解决的关键技术,包括大容量对地观测数据的存储优化技术、基于网格的遥感图像快速处理技术、海量卫星遥感图像数据的深度分析与地学知识发现技术、基于共享知识库的多数据中心协同处理及归档技术。通过这些关键技术建立卫星对地观测数据集成系统,实现集成卫星图像、地面观测数据和模拟模型的元数据管理、几何精度纠正和卫星数据质量评价、海量卫星图像数据的空间分析与知识发现、分布式高性能卫星图像数据管理和归档系统等基本功能,能够为解决海量卫星数据分布式存储与计算、数据集成与互操作、空间数据分析与地学知识发现这些问题提供新思路、新技术与新方法。
参考文献( References) :
[1] Wang Yi. The development of the Earth observation system[J].Advances in Earth Science,2005,20( 9) : 980-989.[王毅. 新一代对地观测系统的发展[J]. 地球科学进展,2005,20( 9) : 980-989.]
[2] Li Deren,Tong Qingxi,Li Rongxing,et al. Current issues inhigh-resolution Earth observation technology[J]. Science in China( Series D) ,2012,42( 6) : 805-813.[李德仁,童庆禧,李荣兴,等. 高分辨率对地观测的若干前沿科学问题[J]. 中国科学: D辑, 2012, 42( 6) : 805-813.]
[3] Max Craglia,Kees de Bie,Martino Pesaresi,et al. Digital Earth2020: Towards the vision for the next decade[J]. InternationalJournal Digital Earth,2012,5: 4-21.860 地球科学进展第30 卷
[4] Li Deren. Opportunities for geomatics[J]. Geomatics and InformationScience of Wuhan University,2004,29( 9) : 753-756.[李德仁. 地球空间信息学的机遇[J]. 武汉大学学报: 信息科学版,2004, 29( 9) : 753-756.]
[5] Li Deren,Shen Xin. Intelligent Earth observing system[J]. Scienceof Surveying and Mapping,2005,30( 4) : 9-11.[李德仁,沈欣. 论智能化对地观测系统[J]. 测绘科学,2005,30 ( 4 ) : 9-11.]
[6] Rong Xie,Ryosuke Shibasaki. Creating a satellite-data integrationsystem[J]. GIM International,2006,20( 12) : 21-23.[7] Gong Jianya. Advances in Earth Observation Data Processing andAnalysis[M]. Wuhan: Wuhan University Press,2007.[龚健雅.对地观测数据处理与分析研究进展[M]. 武汉: 武汉大学出版社,2007.]
[8] James Manyika,Michael Chui,Brad Brown,et al. Big Data: TheNext Frontier for Innovation,Competition,and Productivity[R].McKinsey Global Institute, 2011.
[9] Daniel Sui,Sarah Elwood,Michael Goodchild. Introduction: Volunteeredgeographic information,the exaflood,and the growingdigital divide[M]∥Crowdsourcing Geographic Knowledge: VolunteeredGeographic Information ( VGI) in Theory and Practice.New York: Springer,2013: 1-14.
[10] Big Data Expert Committee of China Computer Federation. WhitePaper of Big Data Technologies and Industry Development in China[Z]. Beijing: China Computer Federation,2013.[中国计算机学会大数据专家委员会. 中国大数据技术与产业发展白皮书[Z]. 北京: 中国计算机学会, 2013.] [11] Yu Xing. The bigdata tool for geochemical study of seabedrocks—PetDB and its application in geoscience[J]. Advances inEarth Science,2014,29( 2) : 306-314. [余星. 海底岩石地球化学研究中的“大数据”———PetDB 及其应用[J]. 地球科学进展, 2014, 29( 2) : 306-314.]
[12] Li Guoqing,Wu Yanhui. Scientific research of Earth observationin era of big data[J]. China Computer Society Newsletter,2013,9( 9) : 27-31.[李国庆,邬延辉. 大数据时代的对地观测科学研究[J]. 中国计算机学会通讯,2013,9( 9) : 27-31.] |
核心期刊网(www.hexinqk.com)秉承“诚以为基,信以为本”的宗旨,为广大学者老师提供投稿辅导、写作指导、核心期刊推荐等服务。 核心期刊网专业期刊发表机构,为学术研究工作者解决北大核心、CSSCI核心、统计源核心、EI核心等投稿辅导咨询与写作指导的问题。 投稿辅导咨询电话:18915033935 投稿辅导客服QQ: 投稿辅导投稿邮箱:1003158336@qq.com |