下阿里云SSD云盘性能测试,阿里云推出超高性能

随着互联网特别是移动互联网的发展,时下人们在每天生产生活中产生的数据往往是过去一年或者数年的体量。抛开从海量数据中提取洞见以指导实践不谈,如此规模的数据已然给企业已有IT基础设施提出了严峻挑战,同时也提高了个人或者机构业务开拓的门槛。在此背景下,大量拥有领先技术的公司,如阿里云,已经开始将技术作为服务的重要探索。

CentOS 下阿里云SSD云盘性能测试

由于服务器需要高并发高IO,所以入手了阿里云的SSD云盘 IO优化的ECS实例。

阿里云SSD云盘:单盘最高提供20000随机读写IOPS、256MB/s吞吐量的存储性能。采用分布式三副本机制,提供99.9999999%的数据可靠性。

SSD云盘基于全SSD存储介质、利用阿里云飞天分布式存储技术,提供数据可靠性99.9999999%的高性能存储;该产品具备以下特点:

高性能:单个SSD云盘最高提供20000随机读写IOPS、256MB/s吞吐量的存储性能;
高可靠性:SSD云盘采用分布式三副本机制,提供99.9999999%的数据可靠性;
每GB提供30IOPS:SSD云盘采用每GB空间30个IOPS的策略,30GB的SSD云盘拥有900IOPS的性能、100GB的SSD云盘拥有3000IOPS的性能、667GB的SSD云盘拥有最高20000IOPS的性能
单块SSD云盘容量:单块SSD云盘最大提供1024GB存储空间;

【SSD云盘和本地SSD盘、普通云盘有啥区别?】
如您对IO性能要求高、同时对数据可靠性要求也高,建议您选择SSD云盘,详细对比如下:
图片 1

【为什么我购买的SSD云盘性能效果不明显?】
SSD云盘采用每GB空间30个IOPS的策略,30GB的SSD云盘拥有900IOPS的性能、100GB的SSD云盘拥有3000IOPS的性能、667GB的SSD云盘拥有最高20000IOPS的性能;
如果SSD云盘在用户原有的ECS实例上使用,性能最多能发挥出1000IOPS的能力;如果想要1000以上的IOPS性能,SSD云盘必须与I/O优化的实例配合使用;

购买后,我该如何测试磁盘性能?
linux环境使用FIO做性能测试,测试命令:
fio-direct=1-iodepth=64-rw=randwrite-ioengine=libaio-bs=16k-size=10G-numjobs=1-runtime=1000-group_reporting-name=/storage/iotest
这段测试的含义是测试随机写,每次写入大小16K,文件大小为10G,ioengine=libaio,运行1000秒(runtime),跳过buffer,其中-name指向到你想测试的磁盘上的文件。
上面这点代码比较耗时,我们可以缩减测试文件的大小和运行时间,改为:
fio-direct=1-iodepth=64-rw=randwrite-ioengine=libaio-bs=16k-size=256M-numjobs=1-runtime=100-group_reporting-name=/storage/iotest

下面以20G的ssd云盘(系统默认盘)测试,每秒写速bw=9456KB/s,IOPS=591。
图片 2
下面以50G的ssd云盘测试,每秒写速bw=23731KB/s,IOPS=1483。确实如介绍的那样每1GB空间30个IOPS,50G就是50x30=1500IOPS:
图片 3

我们再对比下购买阿里云的普通云盘的性能bw=16284KB/s,iops=1017:
图片 4
普通云盘的性能和磁盘大小无关,一般固定在16MB/s吞吐量、1000IOPS随机读写上下。

我们再来对比下腾讯云的普通云硬盘的性能,每秒写速bw=41341KB/s,IOPS=2583:
图片 5
我只能呵呵了,腾讯云的普通云硬盘达到了2500随机读写IOPS、41MB/s吞吐量,是阿里云普通云盘的性能的2倍以上。

然后,我们来看一下腾讯云最新推出的高IO版本的服务器情况(测试默认系统8Gssd盘):
图片 6
腾讯云的高IO版本硬盘达到了1.8万随机读写IOPS、300MB/s吞吐量!

再看腾讯云高IO版的500G硬盘(ssd盘):
图片 7
达到了6.3万随机读写IOPS、998MB/s吞吐量!

注意,新的磁盘需要先挂载:LinuxVPS如何挂载硬盘

windows环境下使用AnvilPro工具做性能测试;

也许有人说最高提供20000随机读写IOPS、256MB/s吞吐量的存储性能也不咋样啊?

飘易就举例说明下:我们家用机械盘在小I/O情况下,读写时随机IOPS也就是80~100左右、吞吐量10MB/s左右;如果是拷贝大的压缩包时,由于有OS的pagecache,吞吐量能达到100MB/s以上,但这只能是拷贝大应用时,对于企业级应用根本达不到这样。

为什么我用FIO测试性能时,会导致实例宕机?
FIO这个测试工具支持裸盘分区、文件系统两种方式测试I/O性能;如果是直接测试裸盘分区,可能导致裸盘分区中的文件系统元数据被破坏掉,访问该裸盘分区中的文件时会失败,导致实例宕机;使用FIO的文件系统方式测试性能时,不存在上述问题,因此我们推荐使用FIO文件系统的方式测试I/O性能;

【补充:】
dd命令测试硬盘的读写速度
写速度:timeddif=/dev/zeroof=/var/testbs=8kcount=1000000
读速度:timeddif=/var/testof=/dev/nullbs=8kcount=1000000

FIO是测试IOPS的非常好的工具,用来对硬件进行压力测试和验证,支持13种不同的I/O引擎,包括:sync,mmap,libaio,posixaio,SGv3,splice,null,network,syslet,guasi,solarisaio等等。
一,FIO安装
wget
yuminstalllibaio-devel
tar-zxvffio-2.0.7.tar.gz
cdfio-2.0.7
make
makeinstall

二,随机读测试:
随机读:
fio-filename=/dev/sdb1-direct=1-iodepth1-thread-rw=randread-ioengine=psync-bs=16k-size=200G-numjobs=10-runtime=1000-group_reporting-name=mytest
说明:
filename=/dev/sdb1测试文件名称,通常选择需要测试的盘的data目录。
direct=1测试过程绕过机器自带的buffer。使测试结果更真实。
rw=randwrite测试随机写的I/O
rw=randrw测试随机写和读的I/O
bs=16k单次io的块文件大小为16k
bsrange=512-2048同上,提定数据块的大小范围
size=5g本次的测试文件大小为5g,以每次4k的io进行测试。
numjobs=30本次的测试线程为30.
runtime=1000测试时间为1000秒,如果不写则一直将5g文件分4k每次写完为止。
ioengine=psyncio引擎使用pync方式
rwmixwrite=30在混合读写的模式下,写占30%
group_reporting关于显示结果的,汇总每个进程的信息。
此外
lockmem=1g只使用1g内存进行测试。
zero_buffers用0初始化系统buffer。
nrfiles=8每个进程生成文件的数量。

顺序读:
fio-filename=/dev/sdb1-direct=1-iodepth1-thread-rw=read-ioengine=psync-bs=16k-size=200G-numjobs=30-runtime=1000-group_reporting-name=mytest
随机写:
fio-filename=/dev/sdb1-direct=1-iodepth1-thread-rw=randwrite-ioengine=psync-bs=16k-size=200G-numjobs=30-runtime=1000-group_reporting-name=mytest
顺序写:
fio-filename=/dev/sdb1-direct=1-iodepth1-thread-rw=write-ioengine=psync-bs=16k-size=200G-numjobs=30-runtime=1000-group_reporting-name=mytest
混合随机读写:
fio-filename=/dev/sdb1-direct=1-iodepth1-thread-rw=randrw-rwmixread=70-ioengine=psync-bs=16k-size=200G-numjobs=30-runtime=100-group_reporting-name=mytest-ioscheduler=noop

【参考】
SSD云盘 ECS(IO优化):
linux使用FIO测试磁盘iops:

由于服务器需要高并发高IO,所以入手了阿里云的SSD云盘 IO优化的ECS实例。 阿里云SSD云盘:单盘最高提供20...

摘要: 搭配ECS云服务器使用, ESSD可提供单盘高达100万IOPS的随机读写能力和低至0.1毫秒的单路时延,相比SSD云盘分别提升了50倍性能上限和降低80%读写时延,单台云服务器整体存储性能提升500%。

图片 8

六年的时间,阿里云在云计算基础设施领域,覆盖了从域名、备案、解析、计算、网络、存储、数据库、安全、海量数据分析到互联网中间件等一站式服务,并已在多个领域进入全球TOP行列,已实现了从0到1的转变。而7月22日的首届阿里云分享日×云栖大会北京峰会上,阿里云更是集中发布了11款新产品、50多个行业解决方案。

查看原文链接:

 

其中,读写性能超群的SSD云盘、可一键搭建混合云的VPC服务、支持Redis的KV数据库格外引人注目。

阿里云发布超高性能ESSD云盘 100万IOPS随机读写刷新纪录

       今天很高兴为大家介绍最新的ECS存储服务:SSD云盘。

聚焦重度IO业务的SSD云盘

1月9日,阿里云正式推出全球首个跨入IOPS百万时代的云盘——ESSD,单盘IOPS高达100万,这是阿里云迄今为止性能最强的企业级块存储服务。

       SSD云盘基于全SSD存储介质、利用阿里云飞天分布式存储技术,提供数据可靠性99.999%的高性能存储;该产品具备以下特点:

在证券交易、实时航空预定、搜索引擎等IO密集型应用中,存储系统的IO吞吐量瓶颈已成为许多机构不得不攻克的难题。而在新的ECS特性中,这个问题似乎迎刃而解。

搭配ECS云服务器使用, ESSD可提供单盘高达100万IOPS的随机读写能力和低至0.1毫秒的单路时延,相比SSD云盘分别提升了50倍性能上限和降低80%读写时延,单台云服务器整体存储性能提升500%。ESSD单盘最大容量为32TB,但售价与SSD云盘保持一致,为客户提供更高的性价比体验。在实际的业务场景测试下,以MySQL和PostgreSQL为例,采用ESSD云盘可获得3-4倍的TPS性能提升。

l  高性能:单个SSD云盘最高提供10000随机读写IOPS、160MB/s吞吐量的存储性能;

在分享日演讲中,阿里云云产品技术部产品专家刘卫星在题为《ECS I/O性能提升20倍,重度I/O型业务轻松上云》的演讲中,重点介绍了阿里云推出了一项高性能的存储服务——SSD云盘,提升原ECS存储性能20倍。据了解,SSD云盘采用了全新的底层架构与全面优化的技术;同时,完全基于SSD介质的SSD云盘可为虚拟机提供随机I/O访问的高性能和高可靠块存储,具备了重度IO业务所需的3大关键能力:

性能狂飙50倍 块存储进入百万IOPS时代

l  高可靠性:SSD云盘采用分布式三副本机制,提供99.999%的数据可靠性;

高性能。IOPS,单盘最大2000随机读写IPOS;吞吐量,单盘最大256MB每秒;4KB块大小,单并发通常在600-600us。

“如果把SSD云盘比作小汽车,那ESSD的性能就相当于飞出地球的火箭。把性能提升50倍是我们过去无法想象的事,但客户的需求让我们不断努力创新,我们很骄傲能提供让客户满意的服务”阿里云块存储负责人马涛表示。

l  每GB提供30 IOPS:每GB容量提供30个随机IOPS能力,最大提供10000随机读写IOPS性能;比如100GB的SSD云盘,提供3000 IOPS性能;334GB的SSD云盘提供10000 IOPS性能;

大容量。单盘最大16TB,同时支持扩容。

此前,阿里云提供了包括云盘类型和本地盘类型在内的六种块存储类产品:SSD云盘,高效云盘,SSD共享块存储,高效共享块存储、本地SSD盘和本地HDD盘。

l  性能基准:以16KB的I/O块大小为SSD云盘的性能基准,当读写I/O块大小≤16KB时,SSD云盘能够获得与16KB块大小相同的IOPS性能;当I/O块≥16KB时,SSD云盘所获得的IOPS值随I/O块大小增长成反比关系;比如200GB容量的SSD云盘具备6000 IOPS性能,当读写I/O块大小≤16KB时最大可获得6000 IOPS,当读写I/O块大小等于32KB时最大可获得3000 IOPS,当读写I/O块大小等于64KB时最大可获得1500 IOPS,以此类推;

高可靠。通过飞天分布式存储技术,所有SSD云盘默认采取三副本机制,使得数据可靠性高达9个9。

而全新的ESSD云盘的推出,将存储的想象力从地面拓宽到天空之上。结合25GE网络和RDMA技术,ESSD拥有媲美本地SSD盘的性能,同时兼具云盘的99.9999999%可靠性设计,并且支持自动快照、数据加密等高级存储服务,满足例如证劵交易、电商交易、航空预定、搜索引擎等I/O密集型应用对性能的极致要求。

l  单块SSD云盘容量:单块SSD云盘最大提供1024GB存储空间;

为了完全发挥SSD硬件的全部性能,阿里团队做了多个优化,其中包括:RPC优化,小报性能从20万增加到50万;内存拷贝优化,EC2优化少掉1 Core CPU;同步转异步,CPU消耗降低2个Core;锁优化,CPU消耗降低2个Core。同时,为了保障异常情况下的IO性能稳定性,大量的场景同样被考虑到,比如:网络抖动、服务器硬件故障等不可避免的异常情况;如何在“假死”、“真死”情况下同时保证可靠性和IO性能的稳定性;Chase/replication机制等。当然,为了发挥SSD云盘的全部性能,用户需要采用阿里提供的IO优化实例。

恐怖性能提升,技术升级功不可没

l  单独挂载:SSD云盘支持挂载到在相同可用区内的任意ECS实例上;

兼得公共和专用优势的VPC融合网络

此前,阿里云升级了底层存储引擎,ESSD云盘也因此受益 。基于NVMe SSD和3D Xpoint新一代存储介质,ESSD云盘采用了全用户态协议栈,通过用户态Polling模式驱动程序架构如SPDK、DPDK,让单个处理器能达到释放数百万 IOPS的能力。同时,面对QEMU的软件天花板限制,阿里云提出并实现了vhost-user,将IO dataplane从QEMU卸载下来,即IO请求的生命周期完全bypass QEMU,从而使得虚拟化IO全路径具备百万级IOPS的可能性。

为了帮助大家更好的理解ECS存储服务,对ECS存储产品总结如下:

Gartner预测,到2017年底,近半大型企业将部署混合云。混合云提供了一种能够融合企业内部资源与公共服务的改进的方法,具备诸多好处:灵活性、按需付费、精准的时间安排、更多的资源、更好的控制、更好的SLA、有保障的安全,以及改进的性能等等。然而,对于大量企业来说,私有云环境部署仍然不是件容易的事情,然而通过阿里的VPC特性,用户可以一键实现这一点。

IO在网络传输耗时在整体时延占比是首当其冲。在面对要求最高的读写密集型数据共享工作负载时,基于融合以太网的 RDMA 协议 (RoCE) 网络可提供较好性能。阿里云提供了更高效的RDMA网络,通过在网卡上将RDMA协议固化于硬件,以支持零复制网络技术和内核内存旁路技术这两种途径来达到其高性能的远程直接数据存取的目标。

图片 9 

阿里云云产品技术部高级专家郑永升在题为《基于阿里云构建安全的融合网络》的演讲中重点介绍了VPC。

此外,IO多通道、链接克隆等技术也为块存储性能加持不少。

       为了保证SSD云盘挂载到ECS实例时能够获得预期的存储性能,我们推出了I/O优化的概念:I/O优化为实例与云盘之间提供更好的网络能力,可保证SSD云盘存储性能的发挥;

从2010年到现在的8年多时间里,阿里云块存储已经经历了三代产品的演进,不断挑战自己,存储IO读写性能从数百一步步提升到数万级别。ESSD云盘作为第四代块存储产品,高达100万的IOPS和低至100us的时延能力,也在2017年双十一中承载了集团数据库和中间件业务的核心数据,领先业界同类产品至少一代。未来阿里云块存储产品将不断前行,持续挑战性能巅峰,为客户的业务发展保驾护航。

对于支持I/O优化的实例,挂载SSD云盘时能够获得SSD云盘的全部存储性能;对于不支持I/O优化的实例,挂载SSD云盘时,通常最高可获得3000左右的IOPS性能;不过,很遗憾的告诉大家,已购买的存量ECS实例不支持I/O优化。

申请邀测

       我们现在提供SSD云盘及I/O优化实例的公测,马上免费申请:

本文由一分钟一开的彩票平台发布于通讯产品,转载请注明出处:下阿里云SSD云盘性能测试,阿里云推出超高性能

您可能还会对下面的文章感兴趣: