陈奇网络工作室

探索地球隐藏的“秘密”云计算助力遥感卫星“着陆”

过去的人很难想象有一天我们可以利用遥感卫星从太空中窥探地球深处的“秘密”。

6月初,大理州剑川县的鉴湖看起来像一弯新月,给人一种醇厚的美感。再加上四周都是笔直的楼房、错落的村落、绿色的田野,鉴湖就像一个孕育中的“婴儿”。

8月中旬,一个巨大的螺旋云以每秒几十米的强风速度逆时针旋转,同时以每小时几十公里的速度袭击中国沿海城市.

这些遥感卫星不仅可以生动地展示祖国美丽的河山,还可以监测台风。当然,遥感卫星的作用远不止于此:天气预报、国防建设、城市规划、森林火灾监测、洪涝灾害监测也是遥感卫星的重要应用领域。从010年到31009年,某卫星单位几十年如一日地做着这些事情,为我国的经济建设和社会发展做出了重要贡献。

国内某卫星单位成立于1991年,承担我国对地观测卫星数据处理、归档、分发和服务设施的建设和运行管理工作。例如,在矿产勘查工作中,该单位通过遥感影像数据采集、数据预处理、信息提取、遥感异常圈定、遥感地质填图等处理步骤,实现对矿山资源的预测评价。

经过多年的发展,该部队的卫星系统已经从过去单一类型的卫星转变为对地观测和高分系列卫星,业务范围也从只专注于国内要求转变为国内和国际。到目前为止,该单位已经运行和管理了十多颗卫星,包括资源系列、环境减灾系列和高分系列。法人单位近3000个,注册用户超过10000个。截至目前,该单位已分发数据1000多万条,成为国土、气象、海洋三大国家卫星数据中心之一。

海量数据的存储、检索和分发是一个难题。

遥感卫星收集的图像数据需要在地面上集中处理和分发。2005年,该单位有三个数据处理系统,分别是:CBERS卫星实验系统用户服务子系统、CBERS-02B卫星用户服务子系统和国家对地观测卫星数据分发子系统。海量数据需要高效的地面数据处理系统。2011年,在建设资源3和资源02C地面系统时,该单位整合了上述所有子系统的数据,并建立了统一对外服务的数据分发服务子系统。

以往的影像资料是历史真实客观的记录,随着时间的推移会越来越珍贵,需要永久保存。然而,当多颗卫星同时运行时,越来越多的数据需要存档。据统计,2015年9月,该单位卫星在线数据存储量达到10拍,这些卫星每天会产生10倍以上的数据需要存储。

目前,对地观测卫星的主要特点是空间分辨率高、光谱分辨率高、回访周期短、像条带宽大、立体成像能力强、成像模式多样。越来越多不同平台搭载的观测传感器,使人们能够获得近乎连续的高维数据。信息采集的爆炸式增长给配送服务系统带来了巨大的压力,逐渐暴露出效率、服务等各种问题,并且随着新负荷的不断发展,对配送服务的服务模式提出了更多的要求。

为了更好地进行大数据分析,挖掘海量数据,公司想在私有云上使用搜索引擎、数据库等应用。在部署时,IT团队发现这些应用程序与原始虚拟化环境不太兼容。要解决这个问题,需要统一现有虚拟化云平台和裸机平台的资源管理,打造一个可以随时、按需申请和使用存储和计算资源的云实施环境。

Buildi

为此,公司较早采用了九州云Animbus平台,该平台基于OpenStack、Ceph和外部EMC商用存储构建了内部OpenStack私有云平台。私有云平台集成了网络交换机、X86服务器、Isilon存储等现有硬件资源。而软件层提供前台门户、虚拟机定制、流程审批、分布式存储、对象存储等功能。具体如下图所示:

私有云平台的建设,一方面实现异构资源的统一管理,兼顾传统网络和云网络的无缝连接、平滑过渡和统一管理,帮助单位降低云平台的运维难度;另一方面,公司形成了基于专线、电子政务网、互联网“三网合一”的数据分发系统,该平台的使用也实现了资源的实时推送管理和分发,为信息共享提供了数据保障。具体效果如下:

专线:与国土资源部、环保部、水利部、住建部、减灾委、交通部等国家部委共建21条专线,实现数据自动推送服务;

电子政务网:覆盖范围已扩大到北京市85个部委和北京以外31个省、自治区、直辖市及新疆建设兵团的用户;

互联网:所有联网的用户都可以通过互联网方便快捷地获取数据。

扩容升级,让遥感卫星数据更好地“落地”

但随着时间的推移,遥感卫星存储的数据越来越多,本单位用户的需求也越来越多样化。原有的资源和业绩已经不能满足业务增长的需要,分销系统的扩张迫在眉睫。为了让遥感卫星数据高效、便捷、稳定地为互联网用户和其他企业用户提供更好的服务,2019年,该单位联合九州云对分发服务系统的云服务进行了升级,包括分发服务子系统虚拟化平台、Hadoop分布式计算集群和在线数据分布式云存储系统。

九州云在综合考虑上述需求后,决定采用软件定义的数据中心技术,充分利用单位原有的硬件计算、存储和网络设备单独扩展,保证灵活性和高效性,不受存储和网络厂商的锁定。

硬件利用方面,保留原有的分发系统、内网、外网和安全设备。原始设备连接到H3C的千兆核心交换机,九州云虚拟化平台,包括服务器和集中存储,连接到四台万兆交换机。H3C核心交换机和新的万兆交换机通过万兆线路连接。

这样既保留了原有功能,又保证了新功能的网络带宽。同时,多线冗余也为系统提供了更高级别的系统高可用性。九州云从底层网络架构到上层应用都做了相应的规划,充分保障服务的持久性。

九州云在网络规划中,充分利用千兆/万兆/40千兆的通信速率,尽可能提供最低的汇聚比,保证虚拟机之间的通信和服务访问顺畅。连接图如下:

在升级扩容过程中,为保证业务的连续性,该单位使用九州云Animbus的云平台统一新老业务,建立统一的主机、集群、虚拟机、存储、网络和数据监控管理平台。同时,传统业务和数据也将转移到新的集群中,完成全面的业务整合和升级。此外,九州云还使用Animbus讽刺组件对裸机资源进行集中管理,并结合VMware的纳米管理功能,构建统一的一体化云平台,方便客户在一个平台上控制多种资源。

在大数据分析业务中,九州云使用了撒哈拉组件

此次,九州云与该单位共同突破了多项技术难关,实现了多项技术管理创新。升级扩容后,该单位的私有云平台支持一键创建Hadoop分布式计算集群,在虚拟化环境中部署Hadoop,实现了可靠、性能优化的虚拟化Hadoop集群。基于Hadoop集群,可以开发基于Spack的用户查询条件统计分析功能,统计用户查询位置信息的频次数据和日常查询、订单的峰值信息。

在分发系统中,由于对象存储是最关键的部分,九州云对整个云存储系统架构做了专门的规划:系统采用双存储策略,使用9台服务器和一套ECM Isilon存储构建Ceph分布式存储集群,配置存储策略使EMC Isilon和基于服务器的分布式存储方案共存于同一个存储集群中。每个节点由两台H3C交换机和两台Mellonix万兆交换机连接,交换机系统相互连接。

存储系统采用完全对称、面向资源的分布式系统架构,无中心节点,各部分均可扩展,避免了因单点故障而蔓延,影响整个系统的运行。通信方式采用非阻塞I/O方式,提高了系统的吞吐量和响应能力,以满足实际使用中的性能问题。云存储提供标准API、认证服务、账户服务、对象服务和审计服务,全面覆盖整个对象存储的使用、管理和监控。

通过九州云现有硬件资源的架构设计、硬件资源配置、网络设计,保证了其云存储环境的正常运行,完成了容量超过400T的在线数据分布式云存储系统的扩容。在内部,它为单元提供了标准的API操作接口,用于对象存储;对外,本单位用户可通过分销服务系统下载近期产品数据。

一直以来,该单位积极实施国家对地观测卫星发展战略计划。该单位负责人曾表示,农业、林业、水利、土壤、城市、环境、灾害等所有应用行业都离不开卫星数据的支撑。接下来,在本单位联合九州云建设的私有云平台基础上,前者将为全国用户提供超过3000万魏星数据产品,广泛应用于我国农林水利、国土资源、城市规划、环境保护、灾害监测、国防建设等诸多领域,创造更多的经济效益和社会价值。

如今,我国的遥感服务早已走出国门,成为“全球在轨民用对地观测卫星数量最多的国家遥感卫星数据中心”是这个单位的发展目标。今后,该股将继续扩大国际合作,并向其他有需要的国家提供遥感数据服务。

更多关于云服务器,域名注册,虚拟主机的问题,请访问西部数码代理官网:www.chenqinet.cn。

相关推荐

后台-系统设置-扩展变量-手机广告位-内容页底部广告位3