在2013年,“大数据”取代“云计算”成为最受追捧的IT热词。不过,这一技术理念距离蓬勃应用尚有一段艰苦的路程。 在过去的一年里,大数据在各式各样的场合被频繁地提及,而大数据主题的技术会议也是你方唱罢我登场。按照研究机构Gartner着名的技术成熟 度曲线,现阶段大数据正在向所谓“期望膨胀期”的顶峰攀爬。虽然在大数据技术的演进方面,在2013年我们看到了诸多进展,其中包括了开源框架代表 Hadoop的全新升级,以及新兴企业的崛起,但是在实际应用层面,大数据应用仍然处在早期实践的阶段。 根据Gartner的预测,大数据在2013年将带来340亿美元的IT支出,预计到2018年,这一数字将增长3倍。2013年10月,Apache基金会发布的Hadoop 2.0通用版本无疑是大数据领域的大事件。相比上一版本,Hadoop 2.0的性能有了大幅提升。之前对于MapReduce任务,Hadoop只是一个批量数据处理框架。而如今Hadoop 2.0成为了一个可在跨节点系统中部署应用的通用框架,MapReduce也能够跨节点运行。新发布的YARN(Yet Another Resource Negotiator,另一种资源协调者)则更具开放性,这一新的执行层消除了MapReduce上Hadoop环境严格的从属性。 创业企业方面,继Splunk在2012年成功IPO(首次公开募股),并迅速获得近16亿美元的市值后,MongoDB成为2013年大数据领域的创业新贵。这家成立于2007年的企业在近期获得了2.31亿美元的融资,也因此成为首个身价超过10亿美元的开源创业企业。目前,业内对该公司资产的估值高达12亿美元,MongoDB也有望进行IPO。MongoDB的快速崛起证明了大数据领域拥有充足的资金。除MongoDB外,Hortonworks获得了5000万美元的融资,DataStax获得了4500万美元融资,Couchbase获得了2500万美元融资。 而另外一方面,整个行业(包括技术提供商、解决方案供应商、企业客户)也在进一步厘清大数据在企业IT整体架构中的定位。在2013年,我们比较少地听到人们就“大数据是否会替代BI?”做出激烈的争论。业内的关注重心转而聚焦在大数据技术与传统数据库技术的结合层面。虽然大数据技术的兴起与互联网企业驾驭大规模新生数据的需求密不可分,但是在进入“主流”的过程中,分布式技术与传统SQL数据库的融合、传统分析与展现技术在大数据平台的作用,正在得到越来越多企业的认可。 随着业内对大数据技术理解的逐步深入,大数据生态系统正在不断完善,Hadoop、NoSQL和SQL之间的共存与融合进程正在展开,技术的成 熟度不断提升。在相对而言比较遗憾的是,在应用层面,实际的部署行动尚未大规模展开。虽然很多保守的企业客户已经开始转变态度,但大多数的早期实践仍然以边缘性的尝试为主,大数据技术在企业范围内应用的核心地位和行业属性尚未真正形成。这也意味着,大数据在现实环境中仍有太多努力的空间。 2014年值得关注的大数据趋势 中立咨询顾问机构Ovum预计,在2014年,越来越多的第三方供应商和IT服务生态系统将开始为企业数据仓库和应用市场推出大数据的相关工具与解决方案。这一趋势是SQL和Hadoop平台多样化,并且提供重叠功能的必然结果。Ovum认为,在2014年值得关注的大数据趋势包括: ■分析数据平台正在添加更多功能; ■大数据的企业应用市场正在形成; ■NoSQL的发展; ■数据分层开始主导实时数据平台。 另外,以Hadoop为代表的新兴技术将继续对多来源数据进行融合,并且不断拓展其自身的预测分析能力,为企业客户带来更为丰富的应用体验。事实上,Hadoop会向着成为“企业数据管理关键部件”的目标继续向前演进,它将成为企业计算基础设施的重要组成部分,而数据分析也将会成为企业展开大数据实践的首选应用。而在安全性、运营管理等方面,Hadoop有望在功能性上进一步完善,并且更加规范化和标准化,并由此赢得企业客户的更多信赖。 |