IBM：利用闪存提速实时分析 掘金大数据

idata

碧桂园地产公司随着业务量迅速增长，核心ERP报表系统数据量也随之增长迅速，报表系统数据库响应速度已经无法满足业务系统的需求，碧桂园迫切需要提升整体系统性能。

　　经过对现有业务情况的详细分析和整理，并应用Oracle AWR数据采集来分析系统性能瓶颈的根源，碧桂园发现，报表系统的瓶颈来源于存储系统，因为现有存储系统无法满足ERP报表系统的性能要求，存在明显性能瓶颈，且目前使用的中端存储系统在可靠性方面也存在单点故障风险。

　　通过IBM提供的系统改造方案，碧桂园最终选择了IBM FlashSystem全闪存阵列来提升ERP报表系统的整体性能。IBM FlashSystem全闪存阵列可以在Oracle数据库不做任何架构改变和调优处理的情况下，就获得十多倍的IO性能改善，而且，IBM SVC与Flashsystem以及Storwize V7000相结合的存储方案，不但彻底解决了性能问题，还解决了异构平台的数据迁移及业务连续性困扰。

　　碧桂园的项目就是一起典型的应用全闪存阵列提升实时分析性能的案例，最终集团ERP系统的入库汇总表查询时间从过去的30分钟提升到了少于1分钟，而且只用了一天时间进行系统部署，大大提高了碧桂园ERP系统的效率和可靠性。

　　离线处理 vs 实时处理

　　大数据时代无可争议的来临了，源自全球数十年的技术积累，但仅用了最近两三年时间，便迅速渗透到各个行业。相比十几年前的互联网泡沫，大数据的发展趋势更加实际、与企业业务紧密相关、盈利模式也更加清晰。

　　当前的大数据分析模式分为“离线处理”和“实时处理”两种类型，离线分析可以对业务数据和想要分析的数据样本进行恰当的分离，只针对分离后的数据样本进行建模分析，这种分析模式的优势在于，可以对数据做较复杂的业务处理，但显然无法第一时间把握到市场的发展趋势。

　　实时分析则顾名思义，就是针对正在进行的业务数据进行即时的处理与分析，显然，这种分析模式能够最大限度的随时了解业务状况的变化趋势，但受限于系统的处理能力，很难进行复杂的业务处理。前面提到的碧桂园地产公司案例就是典型的实时分析案例。

　　对于希望从大数据中发掘商业机会的企业来说，数据的价值有着明显的时效性，针对业务数据的分析越及时越充分，分析结果就能够更灵敏和更直接的反馈问题。因而，对于实时分析系统来说，如何在不影响生产系统的前提下，进行尽量充分的数据分析至关重要。

　　像碧桂园公司一样，在很多客户的实时分析系统中，存储往往会成为延时问题的瓶颈，因而，采用固态存储设备提升系统IO效率，对于提升整体系统分析能力十分有效。

　　实时大数据分析的潜力与希望，正奔跑在闪存的田野上。

　　全面闪存方案 提速大数据

　　针对实时数据分析，IBM提供了全面的闪存优化方案。

　　IBM全线存储产品都可以构建闪存解决方案，包括IBM FlashSystem家族全闪存阵列产品，同时IBM DS8000、XIV、Storwize等传统阵列家族，可以任意配置成全磁盘、全闪存以及混合阵列(磁盘与闪存混插)。此外，IBM还提供面向虚拟化管理、缓存和层级的闪存软件，并能够提供闪存适配器、DIMM及SSD硬盘。

　　在2014年6月10日发布的《市场份额分析报告:2013年全球SSD与固态硬盘阵列》中，Gartner指出IBM在2013年的固态阵列(SSA)市场中占有25%的市场份额，位列第一。IBM在2012年的这一领域还屈居亚军。2013年IBM固态阵列的增长是278%,而行业的平均增长是182%， 这些数字显示IBM在全闪存应用领域已经积累了丰富的经验，并有着强劲的增长势头。

▲（点击图片看大图）

　　BM存储与软件定义系统部总经理Jamie Thomas表示：“大数据给我们的全球客户创造了巨大机会。为了从大数据浪潮中提取业务洞察，更多的企业选择IBM闪存系统作为核心工具加速洞察获取。”

　　FlashSystem全闪存阵列

　　FlashSystem系列全闪存阵列是IBM闪存战略中重要一环，对提升大数据实时分析性能十分有效。因为大多数大数据实时分析应用负载类型均为读密集型，单独依靠额外的CPU处理能力几乎无法提升性能，将读数据存放在低延迟的全闪存阵列上，读操作会被更快的处理，从而带来性能的大幅提升。

　　IBM FlashSystem系列全闪存阵列源自IBM于2012年8月收购的闪存技术公司TMS，目前该系列产品拥两款产品： Flash840 和Flash V840。

　　IBM FlashSystem家族的新产品FlashSystem 840采用了2U机架式结构(V840为6U设计)，提供高达 40TB的可用容量，与前代产品820相比，带宽提升了近2倍，性能提升了1倍，达到110万IOPS。同时，该全闪存阵列还采用 IBM MicroLatency 技术，数据访问速度由毫秒缩短到微秒 (少于135微秒)，能够帮助企业优化实时数据分析，更加快速地获取指导下一步行动的分析结果。

　　对于FlashSystem 840的高可用硬件配置来说，在Module-level Variable Stripe RAID(模块级可变RAID)的基础上，还加入了System-level RAID 5 across modules(跨模块的系统级RAID 5)和可热插拔的闪存模块等特性。

　　追求实时分析极致性能

　　众所周知，针对大数据实时分析工作负载来说，最重要的处理指标就是“时延”，而“时延”则恰好是IBM FlashSystem系列产品的突出优势。

　　FlashSystem 系统提供独立的硬件数据路径，和分布式 CPU独立处理路径，基于FPGA基础的数据移动相比软件实现的存储控制器算法实现大大减少了延迟时间。相比较传统的SSD与磁盘系统的混合阵列，FlashSystem系列全闪存阵列提升IOPS性能的同时，在部署、体积、数据安全方面都拥有较明显的优势：

　　FlashSystem在2U高的空间内就达到了(0.1-0.2ms)1m时延的高效率IOPS，而传统阵列达到 (1ms)/ 1m时延的IOPS则需要3个机柜的体积。FlashSystem充分利用了闪存优势，采用了更为简单直接的架构设计，只有CPU/前后端导向器，没有操作系统层;而传统混合阵列的操作系统、缓存、交换模块、控制器都成为提高延时的瓶颈。

　　FlashSystem全闪存阵列全部部件均可在线更换、升级，拥有更高的可靠性;传统混合阵列则只能提供磁盘级的RAID保护，RAS安全性更低。总体TCO方面，FlashSystem全闪存阵列能有效降低机房空间占用、电力、能耗、制冷等多方面消耗，降低总体拥有成本;传统混合阵列则需要更多的机房空间占用、更高能耗等，拥有更高的TCO，且产品发展路线容易受限于SSD厂商控制。

　　IBM 系统与科技部存储产品部全球副总裁FlashSystem产品线总经理Michael Kuhn表示，IBM FlashSystem以微秒级时延为设计目标，因而性能表现尤为突出，这也是当前用户最为重视的方面。未来FlashSystem会继续关注四个方面，即性能、模块化设计、安全加密、数据管理能力，最终关注数据的经济性，帮助用户降低成本。

　　据介绍，与同等的硬盘系统相比，IBM 闪存存储解决方案的单机柜容量高出 6.7 倍，按成本/每秒输入输出(IOPS) 计算的成本效益高出 19 倍，并且节能效果超出 115 倍。