当前位置:首页 > 资讯 >

外国成人

2020作者:admin

存储阵列和分布式存储闪存化大势已成,在未来基于STAT/SAS/NVMe 接口的SSD 将成为主流存储存储介质

当前几乎所有主流存储厂商都推出了AFA(All Flash Array)全闪存阵列,主流软件定义Server SAN 中如SolidFire也是基于全SSD 架构

根据2016年IDC的调研欧美市场SSA(Solid State Storage Arrays)占整个存储市场份额迅速上升已经高达30%,但是SSA在中国市场该份额在5%

虽然近3年内国内已经有部分金融公司等企业,实现了核心生产和容灾存储的全闪存替换,但显然在拥抱全闪存技术方面,中国的IT人落后了,需要加大关注力度、奋起直追

现在国内的存储小伙伴们对全闪存存储技术、架构和使用场景还是多少有些雾里看花

最近社区组织了相关交流活动,邀请社区专家王帅(平安科技 资深存储架构师)分享

王帅:作为知名保险领头羊的我司有幸成为国内最早一批引入全闪存的公司,经过3年多时间我司已经基本完成全部核心生产和容灾系统的全闪存替换工作

我司引入了包括AFA(All Flash Array)全闪存阵列,以及软件定义分布式存储的全闪存类型

在此分享讨论我个人对全闪存架构、全闪存性能优化、全闪存存储的软件解决方案的理解,同时分享一下我司基于全闪存存储阵列和分布式存储架构全闪存存储的使用经验,以及基于此的存储快照、复制、容灾解决方案

活动中还有其他社区专家、会员参与了分享,现由王帅将活动中涉及到的主要观点和经验汇总总结,供大家参考

主要内容包括:1、为什么说存储阵列和分布式存储全闪存化大势已成?2、当前制约全闪存存储性能发挥的主要瓶颈是什么,如何优化?3、金融行业上闪存架构的必要性分析?哪些业务系统适合放在全闪存阵列上?4、当前主流的全闪存阵列品牌型号有哪些?软件定义Server SAN全闪存品牌有哪些?技术产品选型上应该如何考虑?5、AFA(All Flash Array)全闪存阵列与软件定义分布式Server SAN 全闪存有什么区别?各自适用环境?6、全闪存就一定贵吗——全闪存vs机械盘 成本分析对比讨论?7、全闪存存储架构实施过程中有哪些难点?是如何攻克的?为什么说存储阵列和分布式存储全闪存化大势已成,全闪存解决哪些问题,带来哪些优势??聂奎甲全闪存带来了磁盘速度飞速的提升,解决了很多因存储瓶颈造成的业务延迟

?王帅主要SSD介质带来IOPS 性能的大幅提升,带来的读写延迟的大幅下降

这是HDD机械盘存储系统靠堆HDD盘数量所无法解决的

(不同存储介质的速度比较)存储介质从HDD到STAT/SAS SSD 再到NVMe SSD 延迟降低了10,000倍!!!基于2015年的4KB 随机读测试数据显示最大IOPS 方面:SATA HDD是190个IOPS, SATA SSD 是70K个IOPS,而NVMe SSD 的IOPS 超过SATA SSD 10倍达750K个 IOPS

存储介质从HDD?到STAT/SAS SSD 再到NVMe SSD IOPS性能能力提升了3000多倍!!!当前SSA(Solid State Arrays)已经处于成熟期, Gartner报告指出IT CTO 应当在2年内引入SSA以改善IT基础架构

经过4年的发展,我司已经基本实现了核心生产和容灾存储的全闪存替换工作

2017 Hype Cycle存储技术成熟度曲线存储技术应当被企业引入的优先级表格:1)颜色越红代表越要关注

2)Solid-State Arrays 是最需要关注的存 储技术

?ibmfuqiang如果一客户可以在单位成本能获取更高的性能,更低的延迟,更有效的生产力,那何乐而不为呢?何况现在闪存的价格也在慢慢趋于更合理的区间

说明一下,IBM在2017 4季度全面更新全闪存新产品新特性,主要包括三个方面:1,在硬件加速构架设计上已经全面使用NVM技术,2,支持在线压缩技术 3, 支持3D TLC高密度集成,容量上原来产品的三倍

如下图示:当前制约全闪存存储性能发挥的主要瓶颈是什么,如何优化??聂奎甲大多数客户都会担心全闪存存储的稳定性,但目前所有的全闪存存储都支持类似metro mirror配置,可以保证数据的双冗余架构,来保障数据的可靠性

同时本身全闪存存储都是多冗余架构,从控制器到硬件卡等等

不尝试永远只是说停留在考虑担忧上,试试最重要

推荐可以把闪存作生产使用,而且用传统存储做多个备份

推荐在使用闪存方案时,评估一下每天的IOPS,然后根据闪存芯片使用寿命做一个最好、最坏、最可能的三点计算,提前准备好可替换的设备,另外有raid机制的保护,有热备盘等其它方式的保护,理论上来说是不用担心稳定性的

系统的正常稳定运行,不仅仅是在硬件方面性能的提升,运维期间对设备运行状态的监控管理和调优都是必备手段

?王帅不同存储介质的速度比较:不同介质存储系统中软件栈的开销延迟比较:全闪存系统架构中的性能瓶颈:从架构层面优化全闪存性能-降低延迟提升IOPS:金融行业上闪存架构的必要性分析?哪些业务系统适合放在全闪存阵列上??聂奎甲大家都想省钱还能办事儿,但有时候,如果你的硬件已经配置到极限,那么也就是说性能也就在这个固有的范围里伸缩,如果这时候性能还是无法满足业务对IO的性能要求,那么你就要给现有的架构做些大动作的调整,如上闪存,从根本的介质上提升性能

总之,好钢用在刀刃上,一定要结合现有业务的瓶颈所在,做好新技术引进的必要性调研

业务系统上:IO压力大的都适合,目前来看,数据库和vm虚拟化的都表现良好

性能肯定是比较明显的,但是也不能贸然的拿ppt中的8倍 10倍来说

最好有对应的测试数据

比如针对oracle,ibm有个AWR_AutoAnalysisTool工具可以做对应的测试

?ibmfuqiang首先,银行主要业务分以下三类,SOR/SOE/SOI都适合使用全闪存存储构架,分析如下:金融行业还包括保险,证券,哪些应用业务场景适合在全闪存储上呢?下面的分析和概括希望对大家有所帮助:?王帅数据库小IO size 随机读写业务非常适合放置全闪存上

如果是以视频,归档,顺序高吞吐带宽读写为主的应用,建议还是放置在HDD存储系统上就能满足,并且成本要低的多

以下分析以下我司闪存使用情况:作为知名保险的我司有幸成为国内最早一批引入全闪存的公司

从2014年开始经过4年时间我司已经基本完成全部核心生产和容灾系统的全闪存替换工作

未来100%的核心系统都将实行全闪存化,我司引入了包括AFA(All Flash Array)全闪存阵列,以及软件定义分布式存储的全闪存存储等多个类型

当前主流的全闪存阵列品牌型号有哪些?软件定义Server SAN全闪存品牌有哪些?技术产品选型上应该如何考虑??王帅2017 SSA 全闪存阵列魔力象限排名

可以看到主流存储厂商Pure Storage, Dell EMC, IBM ,HEP NetAPP, HDS等均有上榜当前主流存储厂商均有推出全闪存的产品线:Pure Storage当前最牛的全闪存startup 公司,IDC MarketSPure Storage的FlashArray列为高位

IBM FlashSystem系列IBM F900,V9000, A9000/A9000R,DS8880系列,以及V7000F/V5030F

EMCEMC不止提供一条闪存产品线

全闪存产品有高端全闪存VMAX AFA

Unity F系列,EMC Unity的性能是EMC前一代VNX阵列的3倍,可提供高达30万 IOPS

EMC 收购了XtremIO, XtremIO 是一种分布式架构, XtremIO存储阵列是一个全闪存系统,以横向扩展体系结构为基础

系统采用了称为X-Brick的构造块,这些构造块可以群集化,以按照需要来提高性能和容量

HPE惠普惠普(HPE) 3PAR StoreServ 2全闪存阵列,拥有高性能和可扩展性

可优化闪存的架构特性包括用于基于硅的硬件加速的HPE 3PAR Gen5 Thin Express ASIC,内联重删技术,零检测和其它压缩技术

NetAppNetapp 有全闪存 FAS A 系列, EF 系列,AFF8000

SolidFire是全闪存的Server SAN 架构,去年被Netapp 收购了

华为有Dorado全闪存阵列对于产品的选择需要了解不同存储产品的市场定位同时结合自己公司的应用类型和实际情况来选

?ibmfuqiang补充一下,IBM全闪存存储产品线,如下:IBM F900,V9000, A9000/A9000R,DS8880系列,以及V7000F/V5030F

AFA(All Flash Array)全闪存阵列与软件定义分布式Server SAN 全闪存有什么区别?各自适用环境??王天恩1、软件架构不一样,全闪阵列就拿IBM F900来讲是基于FPGA架构,传输的速度和存储介质类型都很不错,其主要的应用场景是传统应用对IO响应速度要求高的,如金融和互联网行业比较多;2、软件定义分布式的全闪存是基于分布式架构的,通过分布式软件将多台X86形成了一个逻辑整体,其存储介质类型是常见的SSD,其主要应用场景是新兴的云化的应用、云计算场景中比较多?王帅拿云存储全闪存SolidFire 来说,其优势场景:SolidFire是一款基于Server SAN架构的AFA分布式存储,其有清晰明确的市场定位

其主要定位就在块block协议,不提供file和object对象功能

其主要应用案例和场景,7成用来和云opentask,VM集成,2成用在轻量级数据库比如mongoDB,PG,MySQL等,1成用来IOPS 2W左右的物理机

并且其核心设计里理念就是云里面保证qos--单个host提供有限的IO,其架构不适用于高吞吐带宽类应用

其优势就是用丰富的API,和Opentask、云集成比较好,是devops的最爱

不适合传统集中型IO密集大型高性能数据库应用,也不适合存储大量图片、视频、归档等互联网带宽型应用

再说说IBM 最高端FLASH闪存式A9000R: XIV的网格软件技术结合FlashSystem的硬件闪存是一个最佳的组合造出了A9000R

经过TMS和XIV的跨国合作(XIV是2008年收购的以色列公司),休斯顿和特拉维夫的研发人员飞越大西洋和地中海,紧密合作,终于诞生了A9000这个产品

一个满配的A9000R占用42U,有6组Grid 组合,每个Grid组合 包含2个Interface node 和一个FlashSystem磁盘阵列

一同组成一套网格分布式存储系统

A9000R在压缩去重效果相比其他厂商和Server SAN好很多,数据节约率最高,同时能保证极致性能

A9000R 的极大优势在于其传承与XIV 的软件定义网格分布式架构,同时再存储复制解决方案上可以和XIV 完全兼容

相比传统厂商的AFA 要领先很多

以上两款全闪存都是分布式架构的,其是基于全闪存而重新设计了整个系统和架构,目的就是为了完全的匹配和契合闪存介质的高性能

再说说传统存储升级为全闪存的情况

传统厂商比如HP 的3par 升级之后推出基于3par 的全闪存阵列,比如EMC 升级VNX 之后推出基于unity F全闪存,VMAX 升级后推出VMAX AFA

他们都有一个共同特点,就就是在已有传统存储架构上升级改造来的

而像SolidFire 和A9000R 是为了全闪存而重新设计存储架构

当然传统存储升级为全闪存也有他的优点,比如说继承了传统存储的全部优点,解决方案成熟、稳定等,传统HDD存储能上的场景他们都能上

缺点也很明显就是其架构是前一代存储改造升级来的,不够彻底

全闪存就一定贵吗——全闪存vs机械盘 成本分析对比讨论??王帅我司全闪存TCO成本低的秘诀之所在我司通过Thin、压缩、去重、高密度机架等技术全面降低全闪存TCO使用成本:基本做到核心生产系统SSD “GB/成本”接近于传统高端HDD存储

做到容灾系统SSD “GB/成本”接近于传统高端HDD存储的60%-90%

高性能测试和高性能报表库SSD “GB/成本”接近传统高端存储的50%-80%

VDI ,虚拟机场景SSD “GB/成本”接近中端存储价格

以A9000R分布式全闪存为例介绍压缩、去重技术现在的存储厂商如果卖个客户的全闪存存储,不标配压缩、去重功能就不好意思出来见人

比较闪存还是太贵了,不支持压缩去重成本太高,大多数企业都用不起的

比如物理容量100TB的全闪存在A9000R存储上可以提供200-500TB的可用容量,成本就大幅降下来了

全闪存存储架构实施过程中有哪些难点?是如何攻克的??王帅这里分析一个我司的使用全闪存使用中遇到的一个极其顽固难解决的性能问题案例分享

首先说一个我司这变态数据库的IO 模型,绝对够吓人:数据库量85TB读写比在2:1左右顺序读占IO的40%左右,离散度占IO的13%;读IO size 在150K~350K , 要求读延迟均值5ms (5万 IOPS,300KB size换算成4KB size 就是越350万IOPS )写IO size 在 100K~300K ,要求写延迟均值3ms 请在市场上找出可以满足改数据库的全闪存存储,很多公司的闪存见了都要呵呵绕路走!!!顽固性能问题描述:我司两年前用的是SVC +后端FL三效疤复平ASH900 架构,用了一段时间后就完全满足不了

今年改成A9000R全闪存后该数据库还是在业务高峰期出现严重IO性能降低的问题

经过一系列的架构整改终于不再出现性能问题,也满足业务的需求

具体整改方法如下:单纯的存储端优化-更改存储架构: 随着业务的进一步增加SVC前置压缩 +后端FLASH900 架构也越越频繁的出现性能瓶颈

首先想到的就更换性能更强大的存储,将该数据迁移到新购置的A9000R全闪存,同时跳出SVC 虚拟化层,从而使存储端有能力提供更高的IOPS和更低的读写延迟

单纯存储端优化效果: 换了更牛B好几倍的A9000R闪存后

没到2周开始在作业高峰期再次频繁出现IO性能问题,并且在非作业的高峰期只要一发起全备份(在生产主机上直接发起全备份,呵呵这个报表大数据分析库,为了省钱就直接这样备份了

),该数据读写延迟就会上升几十倍甚至百倍,从50ms ~500ms不等

纳尼这那是闪存的性能!!! 于是不停的推动IBM L3分析分析再分析,IBM 分析的结构是说存储是闪存足够快,没有性能瓶颈,瓶颈似乎是在SAN网络延迟方面

优化SAN网络传输带宽: 之前也一直在做主机端和SAN网络带宽方面的分析

分析下来主机CPU/Memory 不是瓶颈,DISK max util 这个值在性能问题时间段经常保持在70%~95%,这明白说明了存储慢

主机上有6个8GB HBA 口,4个接存储跑业务流量,2个接带库跑备份流量,通过BNA (Brocade Network Aviator )多次观察历史数据发现业务的4个端口从来没有跑满过,FC 链路单向最大带宽使用率也就是在70%,但是发现备份的2个HBA 口在全备份期间总是跑满

另外一个现象是90%的出现IO漫的情况时,应用慢的时候刚好有全备份在跑,全备份停止几个小时后数据库IO恢复正常

个别时间段业务量大时,在没有备份的情况下IO性能也变慢

根据以上现象就比较难下手了

但是备份争抢业务IO 导致业务IO变慢这个问题基本可以确定了

备份2 个HBA 口已经跑满,一定要升级优化的,业务的4个HBA 口最大单带宽使用率在70%,预计也快到瓶颈了

于是和主机组商量后果断切换到新配置主机,新配置主机配置4个16GB HBA口跑业务流量,2个16GB HBA 口跑备份流量

从而完成了SAN网络带宽的升级优化

优化SAN网络传输带宽效果:效果就是在不跑全备份时再也没有出现过应用IO慢的情况了

而且还有一个现象就是在旧的主机上4个8GB业务HBA 口时,存储到该数据库的最大FC 带宽也就跑到3.5GB 的样子

但是新主机换成4个16GB 的业务HBA口后,最大存储FC带宽竟然一下飙到8GB,均值在3.5GB 相当于老主机上的峰值带宽

这验证了IBM L3的分析,性能瓶颈在SAN网络传输和延迟方面

HBA 口都升级到16GB后,备份流量带宽也没有跑满了,但是在发起全备份时间段还是偶尔导致应用IO性能满的情况出现

优化备份架构: 全备份架构整改正“基于存储快照的异机解耦合server free备份”架构

就是在A9000R存储做快照(数据库端需要begin backup操作),将快照卷挂到另外一台单独的主机上做数据库做全备份

这样就避免了直接在生产主机做全备份,避免了备份IO和业务IO争抢导致业务IO变慢的问题

优化备份架构后效果: 该数据库在业务高峰时段同时做全备份时也未再报出IO性能问题

总结:在全闪存时段,根据我司的经验多数性能问题都不是存储本身性能到了瓶颈所致,多数性能瓶颈都是在网络传输层面和架构层面: 比如应该用更快的16GB 网络替换旧一代的8GB 网络,比如要多关注HBA 口,存储FC 端口的queue depth 是否full 跑满,SAN SFP,外国成人光纤是否老化等问题

参与分享的主要有:王帅 平安科技 资深存储架构师聂奎甲 长春长信华天 项目经理 ibmfuqiang IBM 系统架构师 王天恩 电信系统集成 项目经理 更多相关内容,请点击阅读原文长按二维码关注公众号外国成人