Hadoop2.0为Hadoop演绎完美起点
2013-8-25 12:35 |来自: 51CTO |
查看: 2444|
评论: 0
| 在很多人的印象中，Hadoop似乎就是大数据的代名词。随着大家深入了解大数据和Hadoop，对其也有了一个更深层次的了解，逐渐认识到Hadoop
只是大数据的一个存储工具。
不过这并不一定就是坏事。把Hadoop当作廉价有效的存储正好是Hadoop下一阶段演进的的完美起点。今年夏天就要亮相的Hadoop
2.0将会令数据仓库中的信息以及非结构化数据池前所未有地容易访问。 Hadoop大桶 自成为大数据工具以来，Hadoop就是一个非常棒的数据存储系统，但是需要开发Java应用来访问数据的MapReduce学习起来却比较困难。 当然，还有别的办法可以从Hadoop中获取信息。Hbase数据是Hadoop的一部分，它可以让用户按照数据库范式来处理数据。Hive数据仓库则 可以让你用类SQL的HiveSQL查询语言来创建查询并转化为MapReduce任务。不过Hadoop仍受限于单线程性。MapReduce任务、 Hive查询、Hbase操作，等等，这些都要轮流进行。 这就是许多大数据供应商倾向于仅将Hadoop当作数据容器的原因，为了提高效率， 他们在此基础上再开发自己的工具来获取或分析其中的数据。尽管把Hadoop形容为一个大桶很形象，但是Hadoop用户当中已经有人把它看作是数据大湖 甚至数据海洋了。不过光是规模大还是不行的，那些限制影响到了Hadoop的卖点。 Hadoop的开发社区也意识到这个问题，随着Hadoop即将迭代到新的版本，上述限制即将在很大程度上被解除 YARN解决方案 在Hadoop 2.0发布经理Arun Murthy看来，其最重要的变化是MapReduce框架升级为Apache YARN，这将扩展Hadoop中可以应用的软件种类和应用程度。Arun Murthy本人就是YARN项目主管，他指出，Hadoop 1.0和2.0的区别在于，前者所有的事情都是面向批处理的，而后者则允许多个应用同时在内部访问数据。 相对于当前MapReduce系统能处理的事情，把这些功能分开使得Hadoop集群资源的管理更加强大。其主要管理方式类似于操作系统对任务的处理，也就是说不再有一次一项操作的限制了。 有了YARN，开发者就能够直接在Hadoop内部来开发应用，而不是像许多第三方工具所做的那样，在外面把数据筛选出来。 Murthy称，现在已经有供应商对在YARN框架内开发应用表现出兴趣。Murthy估计，Hadoop 2.0的强力beta版有可能会在今年6月或7月推出，正式版则可能在8月发布。 如果YARN的确能履行其承诺的话，开发者将可以在原生的Hadoop平台里方便地接触到许多的数据大湖大海，令搜寻有用信息的任务更加流畅和便捷。届时，大数据会变得更加有用、更加大众化。 |
免责声明：
除非特别声明，文章均为投稿或网络转载，仅代表作者观点，与大数据中国网无关。其原创性以及文中陈述文字和内容未经本站证实，对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺，请读者仅作参考，并请自行核实相关内容。如果本文内容有侵犯你的权益，请发送信息至ab12-120@163.com，我们会及时删除
最新评论
最新新闻
最新新闻
要闻推荐
要闻推荐
今日视点
今日视点
/1 
