搜索
大数据中国 首页 大数据技术 云技术 查看内容
以分布式存储应对大数据应用趋势
2013-10-16 02:11 |来自: 网界网| 查看: 8085| 评论: 0
        对于拥有庞大用户数量的通信网络运营商来说,其数据的“产量”一直都很大。电信业的数据类型,主要包括客户信息数据(如客户入网资料、套餐情况)、业务过程数据(如通话记录、客户服务记录等)、网络运行数据(如网络性能、客户终端使用情况等)。数据的量级规模需要相应的存储技术解决方案来支撑,解决方案的能力体现为数据容量、数据处理速度和数据吞吐速率等指标。
  从传统存储走向分布式存储
  传统上,运营商采用关系数据库(RDB)或数据仓库(DW),主要处理电信业务运营过程数据、资源信息、话单记录等结构化的数据类型。对于核心业务(响应时间在1ms之内),一般的数据容量在20TB量级,吞吐速率IOPS在20K~2M量级;对于非核心业务(响应时间在20ms之内),数据容量可能达到3PB,吞吐速率IOPS达到1K~10K量级。传统的存储服务器采用2~16个控制器加上最大1500块硬盘的配置,是可以满足这种量级的关系型数据库应用需求的。
  在移动互联网数据业务崛起之后,原有的这些结构化数据在全部数据量中所占的比例迅速降低。运营商经常会看到,80%以上的新增数据都是视频流、网页链接、图片、文本等非结构化或半结构化数据,也就是如今众所周知的“大数据”。对于运营商来说,大数据蕴含着众多的增值业务创新机会,如:存储(日志存储和分析、搜索服务、应用商店内容下载、视频内容存储等),查询(详单、上网记录、投诉系统等),分析处理(在线2G/3G话单处理、WAP内容分析、SMS监控和分析、日志分析、视频文件分析等),以及诸多数据量大、需求灵活多变、需要高聚合带宽访问的抽取/转换/加载(ETL)类应用等。
  但要利用大数据实现业务创新,必须重新审视存储解决方案。如果沿用传统的SAN方案,采用专用存储服务器来应对数据扩容的话,需要付出高额的前期投资;而且垂直化的专用存储管理软件,难以让不同的子系统之间共享存储资源,从而降低了运营商的投资回报率。分布式存储的引入,能够很好地解决传统SAN难以根除的容量和性能均衡分布的难题。典型的分布式存储系统,采用1~2U的存储服务器,每台服务器带有8~24块硬盘,在标准的服务器机架上很容易实现性能和容量的扩展,维护也非常简单。


  此外,不同类型的数据被访问或被处理的“热度”是不一样的,大量的“冷”数据并不需要很高的响应速度,如果采用可扩展性更灵活的廉价存储方案,能够使运营商节省大量的设备投资成本。在分布式存储系统中,数据类型按照数据的使用“热度”,可以分为在线、近线、离线数据,对不同热度的数据采取不同的技术策略。例如,在线数据如虚拟化的响应时间可能在30ms以内,近线数据如媒体资讯的响应时间可以放宽到100ms以内,而云盘、归档、备份等相对较“冷”的离线数据,响应时间即使超过1s也仍然处在用户可接受的范围之内。
  软件定义的存储
  分布式存储的发展预示着存储从专有系统逐渐向开放系统演进。一个完整的系统,从底层往上层大致可分为芯片、硬件、操作系统和软件、API、管理系统这几个层次。传统存储系统中的芯片和硬件是为存储功能而定制化的,硬件中的ASIC/FPGA是为特定的简单重复性功能(如搬运数据)而设计,优点是速度快、效率高,缺点是计算能力弱,单一硬件模块无法应对多种任务,而要为整个系统中的众多任务都设计单独的专用硬件则复杂度过高。
  基于通用的标准化商用硬件平台(如X86服务器),在软件堆栈中加入不同的软件功能,利用通用平台的计算能力来替代专用电路,这就是“软件定义的存储”(Software Defined Storage)。快速更新的X86硬件产品具备了越来越强大的计算能力,能够支持的软件功能也越来越强大,这使得存储和计算的传统功能边界变得模糊,基于标准化硬件平台的“融合式存储服务器”逐渐取代定制化芯片和定制化硬件成为大势所趋。


  底层硬件平台成为标准化之后,相应地,其上的操作系统和软件层也将从专有系统过渡到开放或半开放系统。未来的存储系统,可能除了部分中间件仍然使用专有软件外,用户将会越来越多地选择开放的操作系统、开放的API、以及开放的管理系统。
  英特尔以新产品线迎合存储新趋势
  最近英特尔推出的单芯片系统(SoC)C2000系列(代号“Avoton”),主要定位于微型服务器市场,它的一个重要应用场景就是应对不断增长的“冷数据”存储市场需求。Avoton是业界首次采用22纳米制程工艺制造的微型服务器。其热设计功耗(TDP)为6~22瓦,包含8个低功耗的“凌动”(Intel? Atom?)内核,集成以太网并支持最高达64GB的内存。
  Avoton针对特定的轻量型工作负载进行了特性定制和优化,如入门级专用托管服务、分布式内存缓存、静态网络服务、内容分发等,以实现最佳效率。Avoton的亮相,使得英特尔除了传统的高性能“至强”(Intel? Xeon?)平台之外,又拥有了一个新利器来助推软件定义存储的大趋势。我们很快会看到,未来数据中心的新存储系统将以更高的性价比来构建,并实现更高的能效水平。

免责声明: 除非特别声明,文章均为投稿或网络转载,仅代表作者观点,与大数据中国网无关。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。如果本文内容有侵犯你的权益,请发送信息至ab12-120@163.com,我们会及时删除

最新评论

关闭

站长推荐上一条 /1 下一条

大数据中国微信

QQ   

版权所有: Discuz! © 2001-2013 大数据.

GMT+8, 2024-11-26 23:40 , Processed in 0.125713 second(s), 23 queries .

返回顶部