搜索
收藏本版 |订阅

Hadoop 今日: 0|主题: 220|排名: 13 

作者 回复/查看 最后发表
如何在hadoop集群添加namenode的步骤
添加了一个新的标识符ClusterID用于标识集群中所有的节点。当格式化一个Namenode,需要提供这个标识符或者自动生成。这个ID可以被用来格式化加入集群的其他Namenode。 格式化Namenodes 第一 ...
admin_bigdatas 2014-2-5 02154 admin_bigdatas 2014-2-5 13:27
1.6 总结
1.6 总结 本章高度概括了大数据和Hadoop之间的关系。并介绍了大数据及其价值,还介绍了企业面临的大数据挑战,包括数据存储和处理的挑战。通过本章,你还了解了Hadoop及其历史。 通过本章,你 ...
admin_bigdatas 2014-1-23 02237 admin_bigdatas 2014-1-23 03:28
1.5 用Hadoop开发企业级应用
1.5 用Hadoop开发企业级应用 为了满足大数据带来的新挑战,需要重新思考构建数据分析的程序的方式。传统的在数据库中存储数据,构建应用程序的方法,对于大数据处理将不再有效。主要因为: [ ...
admin_bigdatas 2014-1-23 02538 admin_bigdatas 2014-1-23 03:27
1.3 Hadoop核心部件
1.3 Hadoop核心部件 随着时间的推移,Hadoop生态圈越来越大,图1-1给出了Hadoop核心组件。 图1:Hadoop生态圈的核心组成组件 从图1-1的底部开始,Hadoop生态圈由以下内容组成: [*]HDFS ...
admin_bigdatas 2014-1-23 02783 admin_bigdatas 2014-1-23 03:22
1.2 Hadoop生态圈
1.2 Hadoop生态圈 架构师和开发人员通常会使用一种软件工具,用于其特定的用途软件开发。例如,他们可能会说,Tomcat是Apache Web服务器,MySQL是一个数据库工具。 然而,当提到Hadoop的时候 ...
admin_bigdatas 2014-1-23 02937 admin_bigdatas 2014-1-23 03:16
1.1 当大数据遇到Hadoop
1.1 当大数据遇到Hadoop 由于“人力资本”是一个无形的、对成功至关重要的因素,所以多数企业都认为他们的员工才是他们最有价值的财产。其实还有另外一个关键因素——企业所拥有的“信息”。信 ...
admin_bigdatas 2014-1-23 02249 admin_bigdatas 2014-1-23 03:11
第一章 大数据和Hadoop生态圈
第一章 大数据和Hadoop生态圈 本章主要内容: [*]理解大数据的挑战 [*]了解Hadoop生态圈 [*]了解Hadoop发行版 [*]使用基于Hadoop的企业级应用 你可能听别人说过,我们生活在“大数据” ...
admin_bigdatas 2014-1-23 02080 admin_bigdatas 2014-1-23 03:11
Hadoop专业解决方案-说在前面的话
Hadoop专业解决方案-说在前面的话 一、前言: 非常感谢Hadoop专业解决方案群:313702010,兄弟们的大力支持,在此说一声辛苦了,经过两周的努力,已经有啦初步的成果,目前第1章 大数据和Hado ...
admin_bigdatas 2014-1-23 02170 admin_bigdatas 2014-1-23 03:08
hadoop源代码分析之:yarn的核心设计介绍
假设:您已经对yarn有了初步的了解,在此,请原谅小呆呆不会介绍什么是YARN,还请各位google下 假设:您已经理解了分布式系统通信核心:RPC调用,准备好了吗?我们就开始了呀 ================= ...
itjavayc 2014-1-15 16368 ayboye 2014-1-22 17:39
1.4 Hadoop发行版本
1.4 Hadoop发行版本 虽然Hadoop是开源的Apache(和现在GitHub)项目,但是在Hadoop行业,仍然出现了大量的新兴公司,以帮助人们更方便地使用Hadoop为目标。这些企业大多将Hadoop发行版进行打包 ...
admin_bigdatas 2014-1-22 02386 admin_bigdatas 2014-1-22 01:00
hdfs数据传输问题 新人帖
请问 hdfs 在上传一个300M文件用时 30分钟 太慢了 达不到公司要求 怎么处理呢
灰太狼 2014-1-21 49278 admin_bigdatas 2014-1-21 02:03
Hadoop 组件HDFS详解
概念 HDFS HDFS(Hadoop Distributed File System)是一种专门为MapReduce这类框架下的大规模分布式数据处理而设计的文件系统。可以把一个大数据集(100TB)在HDFS中存储为单个文件,大多数其 ...
admin_bigdatas 2014-1-21 02056 admin_bigdatas 2014-1-21 01:45
HDFS命令参考
HDFS命令参考除介绍的命令外,还有许多bin/hadoop.dfs命令,以上介绍的只是帮助你开始使用HDFS,运行bin/hadoop dfs不带任何参数会列出所有FsShell系统提供的命令,当你遇到问题时执行bin/hadoo ...
admin_bigdatas 2014-1-21 01769 admin_bigdatas 2014-1-21 01:28
HDFS命令总结
HDFS文件操作命令 1、列出HDFS文件 bin/hadoop dfs -ls 在HDFS中未带参数的-ls命令没有返回任何值,它默认返回HDFS的“home”目录下的内容,在HDFS中,没有当前目录这一概念,也没有cd命令。 ...
admin_bigdatas 2014-1-21 01597 admin_bigdatas 2014-1-21 01:27
Hadoop操作HDFS命令
Hadoop操作HDFS命令如下所示: hadoop fs 查看Hadoop HDFS支持的所有命令 hadoop fs –ls 列出目录及文件信息 hadoop fs –lsr 循环列出目录、子目录及文件信息 hadoop fs –put ...
admin_bigdatas 2014-1-21 01553 admin_bigdatas 2014-1-21 01:23
浅谈hadoop底层通信核心——RPC模型 新人帖
什么是RPC?RPC如何工作,本文将讨论这些话题 RPC(remote produce call)是一种常见的分布式网络通信协议,它允许本地计算机远程调用远程计算机的子程序,同时隐藏了具体了通信细节,使得用户 ...
itjavayc 2014-1-15 04334 itjavayc 2014-1-15 23:41
数据仓库之门向Hadoop开启
在大数据时代,Hadoop分布式处理架构为IT、数据管理以及数据分析团队带来了新生机的同时,也带来了新的挑战。随着Hadoop生态系统的不断发展壮大,企业需要对快速更新换代的技术做好充足 ...
爱智能 2013-11-5 04132 爱智能 2013-11-5 22:21
深入Hadoop节点部署的策略
每个Hadoop集群都包括不止一个节点。这些节点可以按功能分成几个组,比如master组,worker组,client组等等。每个组里面的节点都有不同的资源要求,比如CPU,内存,存储。   在虚拟数 ...
admin_bigdatas 2013-10-30 01792 admin_bigdatas 2013-10-30 00:02
Hadoop Ubuntu下的安装
这个是在自己笔记本上的实验版本,在不熟悉的情况还是先考虑在自己的电脑上安装一个试验版本,然后再考虑安装部署生产环境中的机器。首先自己的电脑上需要安装一个虚拟机VMWare WorkStation, 安 ...
admin_bigdatas 2013-10-30 01696 admin_bigdatas 2013-10-30 00:01
Hadoop集群部署模型纵览
VSphere Big Data Extensions(简称BDE)支持多种部署方式来构建Hadoop集群。按:   存储/计算绑定模型:将存储节点(Data Node)和计算节点(Task Tracker)部署在相同的虚拟机中。这 ...
admin_bigdatas 2013-10-30 01639 admin_bigdatas 2013-10-30 00:01
下一页 »

快速发帖

还可输入 200 个字符
您需要登录后才可以发帖 登录 | 立即注册

本版积分规则

大数据中国微信

QQ   

版权所有: Discuz! © 2001-2013 大数据.

GMT+8, 2024-11-15 14:38 , Processed in 0.069468 second(s), 12 queries .

返回顶部 返回版块