陈奇网络工作室

SPECCloud最新测试全球第一浪潮海云OS做了什么?

Spec(标准性能评估公司)近日发布了SPEC Cloud IaaS 2018最新一批测试结果。浪潮海云OS创下新纪录,获得全部四项关键指标第一,成为全球性能、可扩展性等综合技术水平最高的云平台软件,为未来智能计算中心建设提供了世界领先的系统平台。

SPEC云基准是对现实最好的模拟。

SPEC Cloud IaaS 2018 Benchmark是SPEC开发的基于大数据场景评估云的基准测试(SPEC Cloud IaaS 2018是SPEC第二个衡量云计算性能的基准测试套件,基于原2016版本,增加了各种增强功能和新的主要指标)。使用Yahoo的YCSB和HiBench的K-Means模拟实际工作量。本文主要测试IaaS云平台的性能,选取两个最重要、最具代表性的负载:运行在云平台上的IO密集型和计算密集型负载,通过对数据平面性能、可扩展性和控制平面性能进行压力测试,得出测试结果。

图1 SPEC Cloud IaaS 2018测试逻辑架构

IO密集型负载测试:YCSB是雅虎用于云服务基础测试的工具。SPEC Cloud IaaS 2018通过创建NoSQL(Cassandra)的实例来实现YCSB架构。其测试项目包括吞吐量、插入响应时间、读取响应时间和平均应用实例配置时间。

计算密集型负载测试:K-Means算法是机器学习中常用的聚类算法。SPEC Cloud IaaS 2018基准测试使用HiBench K-Means实现计算密集型测试。其测试项目包括完成时间、每个应用实例的Hadoop迭代次数、平均应用实例配置时间。

SPEC Cloud到底衡量什么?

SPEC Cloud IaaS 2018拥有完整的技术测试框架,是云计算性能测试的标杆,也是企业级客户云产品选型的重要参考标准。测试框架的主要指标包括以下四个方面:

1.复制的应用程序实例数:复制的应用程序实例数表示在测试结束时至少完成了一个有效应用程序的实例总数。总副本数是K-Means和YCSB的应用实例数之和,但其中任何一个的有效应用实例数都不能超过总数的60%%u3002。

2.性能得分:性能得分是所有有效应用实例得分的总和,代表云环境中所有应用的整体性能。是SPEC Cloud IaaS 2018规范的YCSB和K-Means性能得分之和。

3.相对可伸缩性(Relative scalability):相对可伸缩性是指当多个应用实例同时运行且云环境中没有引入其他负载时,每个应用实例能够提供与基线阶段的应用实例相同的运行水平的百分比。相对可伸缩性是IO密集型负载和计算密集型负载的相对可伸缩性的平均值,以百分比表示。结果越高,相对可伸缩性越好。

4.平均实例配置时间:平均实例配置时间表示有效应用程序实例中所有实例的平均配置时间。每个实例的配置时间是从请求创建实例到cbtool驱动程序可以ssh到实例的时间间隔。

根据公布的测试结果,基于浪潮NF5280M5双路服务器基础计算平台,浪潮海云OS虚拟机平均部署时间仅为36秒,复制应用实例数达到18个,性能得分达到20.1,相对可扩展性达到85.5%%uFF0C。也就是说,该平台能够随着业务负载的增加保持近乎线性的可扩展性,灵活部署能力强,响应时间极低,充分保障了业务的连续性。

图2浪潮海云OSSpec云IaaS 2018测试结果

精细优化负载调度算法,提高大规模场景下虚拟机的性能稳定性和资源利用率

测试环境采用一个控制节点和九个计算节点的部署架构。计算节点通过虚拟机运行实例,其中两个分别运行Cbtool基准工具和时间服务器服务(时间同步服务)。

图3规格云IaaS 20

浪潮工程师基于Ubuntu系统制作了Cbtool镜像、时间服务器镜像、Hadoop镜像和Cassandra镜像,其中Hadoop镜像和Cassandra镜像安装了Cloud-init和相应的Hadoop/Cassandra应用,并根据应用错误调整了应用的配置文件和相关代码。另外,为了快速启动虚拟机,修改grub立即启动系统,上传Hadoop镜像和Cassandra镜像到浪潮海云OS环境。

测试中,浪潮工程师通过限制每个计算节点运行的虚拟机数量、分组调度、IO密集型和计算密集型服务的亲和策略等方式对参数进行了优化,但效果并不明显。浪潮工程师通过对实际负载的监测,发现负载对CPU、内存和磁盘的调度不均衡,于是优化了调度算法,调整了CPU、内存和磁盘的调度权重。通过算法优化,在保证每个应用实例正常运行的前提下,增加了应用实例的整体数量,为大规模场景高密度虚拟机管理提供了实际案例参考。

此外,通过对磁盘IO的监控,浪潮工程师发现,在负载下,虚拟机的磁盘IO性能下降。根据多次定位分析发现,当虚拟机后端与主机系统盘存放在同一个存储中时,IO性能会下降。所以为了保证读写不受主机系统盘干扰,我们选择将虚拟机后端与主机系统盘分开部署。同时,为了保证云环境下应用的整体性能,浪潮工程师多次调整虚拟机(CPU、内存、硬盘)规格,关闭KVM的内存共享,防止因抢占、关闭CPU预留、CPU绑定导致性能下降,防止CPU得不到充分利用。最后,虚拟机的CPU、内存和硬盘在负载下都能保持较高的利用率,提高了虚拟机在大规模场景下的性能稳定性和资源利用率。

图4节点的内存共享关闭示例

为了减少平均实例的配置时间,浪潮工程师提高了nova的并发任务数上限,并实现了镜像缓存机制。其中,增加nova并发任务的数量,减少了虚拟机构建的排队时间,映像缓存解决了使用同一映像创建多个虚拟机过程中频繁下载、删除、下载映像耗费大量时间的问题,节省了本地下载映像所耗费的时间,从而有效提高了创建虚拟机的速度,满足了客户快速批量创建虚拟机的需求。

出色的线性可伸缩性完全支持云上的新业务应用。

在对线程数和运算数进行评估后,SPEC选择了40线程数和400万运算数作为SPEC Cloud IaaS 2018的基准。它的目标是反映I/O性能的提升,并使YCSB工作负载AI的周期时间与云中当前的K-Means工作负载保持平衡。

在扩展阶段,SPEC为每个应用程序实例生成数据,插入的总记录保持在1,000,000条。默认记录长度为1KB,数据大小为1GB。复制的有效数据大小至少为3 GB,跨越6个Cassandra种子。

K-Means生成的数据集大小约为415Mb,运行结束时的数据总大小约为900MB。三份Hadoop,磁盘上的大小约为2.8GB,使用一个中型实例,K-Means每次运行的完成时间和数据生成时间与YCSB大致相同。

测试结果表明,浪潮海云OS能够高效完成I/O、计算等负载的调度,性能增长也具有领先的线性扩展能力,能够充分满足用户从传统服务到新型大数据、人工智能等创新应用的需求。

浪潮海云OS在SPEC Cloud IaaS 2018测试中四项关键指标均获得全球第一并非偶然,这是多年研发积累的体现:浪潮海云OS在全球第二大开源项目OpenStack中持续成为社区黄金会员,近几个版本的社区贡献排名稳定在全球前十,在最新的Ussuri版本中排名国内第一。2019年,浪潮海云OS基于OpenStack Rocky版本实现全球最大单集群实践,通过国家权威机构测试认证,被国际知名数据分析机构GlobalData评为“非常强”。以海云OS为代表的OpenStack作为尚云的首选,已经进入大规模实践期,帮助用户数字化转型,智能化升级,整合创新基础设施。

更多关于云服务器,域名注册,虚拟主机的问题,请访问西部数码代理官网:www.chenqinet.cn。

相关推荐

后台-系统设置-扩展变量-手机广告位-内容页底部广告位3