Hadoop 今日: 0|主题: 220|排名: 12

新窗全部主题最新热门热帖精华更多 \| 显示置顶		作者	回复/查看	最后发表


IT企业利用云计算平台Hadoop的10种方式如果你是世界上广大Hadoop用户的一员，你肯定知道Google曾经靠着分布式计算技术（Hadoop），在搜索引擎和广告方面取得了举世瞩目的成就。现在的Hadoop不仅是当年的老二Yahoo的专用产品了，从Had ...	大数据 2014-4-19	02566	大数据 2014-4-19 17:18
Hadoop命令大全 1、列出所有HadoopShell支持的命令 $bin/hadoopfs-help 2、显示关于某个命令的详细信息 $bin/hadoopfs-helpcommand-name 3、用户可使用以下命令在指定路径下查看历史日志汇总 $bin/hadoopjo ...	林伯海 2014-4-19	02478	林伯海 2014-4-19 16:59
Hadoop数据集群安装配置 1、集群部署介绍 1.1 Hadoop简介　　 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google Ma ...	编辑小王 2014-4-19	03879	张小川 2014-4-19 14:57
大数据下的逻辑回归训练模型方法论 2 续以上一个帖子。在机器学习中，总结起来共有三类方法用来设计相关的经验风险函数：当设计的模型很简单，并且数据量也很大的时候，给定一组参数以后，可以使用最大似然评估方法(Maximum Lik ...	byulan 2014-3-3	03321	byulan 2014-3-3 13:55
大数据下的逻辑回归训练模型方法论 1 在数据膨胀的当今社会里，海量数据中蕴含价值日渐凸显出来。如何有效的挖掘海量数据中的有效信息已经成为各个领域面临的共同问题。以互联网企业为代表的科技公司依据自身的实际需求，开始大量的 ...	byulan 2014-3-3	04574	byulan 2014-3-3 13:47
Hadoop使用常见问题以及解决方法 1：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out Answer：程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit -a可以看到）对于正常使用是够了，但 ...	编辑小王 2014-2-26	55780	admin_bigdatas 2014-2-26 00:28
SAS将提供基于Hadoop的大数据分析技术全球领先的商业分析软件与服务供应商SAS公司正在开发一种基于SAS内存分析技术，并适用于开源框架Hadoop的交互式分析编程环境。新软件通过更快地挖掘大数据获取更精确商业洞察，帮助企业 ...	admin_bigdatas 2014-2-25	04979	admin_bigdatas 2014-2-25 01:04
详解Hadoop核心架构HDFS+MapReduce+Hbase+Hive 通过对Hadoop分布式计算平台最核心的分布式文件系统HDFS、MapReduce处理过程，以及数据仓库工具Hive和分布式数据库Hbase的介绍，基本涵盖了Hadoop分布式平台的所有技术核心。通 ...	编辑小王 2014-2-21	03403	张小川 2014-2-21 01:12
第13章 Hadoop的发展趋势第13章 Hadoop的发展趋势本章内容： []了解当前以及新兴的MapReduce的DSLs []了解更高效，高扩展性的程序改进 []回顾安全性方面的功能改进 []了解最新的趋势 Hadoop在迅速的发展变化，似 ...	admin_bigdatas 2014-2-19	02562	admin_bigdatas 2014-2-19 01:50
12.4 总结 12.4 总结本章从安全策略以及以数据为中心的观点出发，为你提供了关注于数据的生命周期的企业安全视图。安全架构师在能够利用Hadoop和其他补充安全工具来解决企业安全性的不同方面，要理解这 ...	admin_bigdatas 2014-2-19	02612	admin_bigdatas 2014-2-19 01:44
12.3 保护使用Hadoop的企业应用的方法 12.3 保护使用Hadoop的企业应用的方法近来，大量的项目，包括Hadoop附属项目，或者是专有的Hadoop发行版都许诺要强化Hadoop的安全。Hortonwork的Knox Gateway项目，Intel的安全加强版Hadoop的 ...	admin_bigdatas 2014-2-19	04082	admin_bigdatas 2014-2-19 01:40
12.2 对于企业应用, Hadoop安全机制不提供什么？ 12.2 对于企业应用, Hadoop安全机制不提供什么？在本章剩余的部分中的内容以及安全术语中，重要的一点是你需要理解企业安全的某些方面，而这些方面Hadoop自身也不能够提供。当然Hadoop提供了 ...	admin_bigdatas 2014-2-19	04829	admin_bigdatas 2014-2-19 01:13
12.1 企业级应用的安全考量 12.1 企业级应用的安全考量在构建Hadoop解决方案的时候，不仅是考虑Hadoop自身的安全性（如第10章所讨论的那样）很重要，另外要理解全局安全策略以及以数据为中心，这两点也很重要。如图12- ...	admin_bigdatas 2014-2-19	02836	admin_bigdatas 2014-2-19 01:02
第12章为Hadoop应用构建企业级的安全解决方案第12章为Hadoop应用构建企业级的安全解决方案本章内容： ➤理解企业级应用的安全关注考量 ➤理解Hadoop未为企业级应用提供的安全措施 ➤学习构建企业级安全应用解决方案的 ...	admin_bigdatas 2014-2-19	05313	admin_bigdatas 2014-2-19 00:47
Hortonworks携Red Hat构建更强Hadoop 如今的Hadoop可以称得上是大数据的代名词，Cloudera、MapR和Hortonworks已经形成三足鼎立之势，Cloudera瞄准高利润的大订单，MapR致力于开发下一代性能强的Hadoop，Hortonworks则希望借助开源社 ...	admin_bigdatas 2014-2-16	02870	admin_bigdatas 2014-2-16 00:24
Hadoop中Namenode单点故障的解决方案及详细介绍AvatarNode 正如大家所知，NameNode在Hadoop系统中存在单点故障问题，这个对于标榜高可用性的Hadoop来说一直是个软肋。本文讨论一下为了解决这个问题而存在的几个solution。1. Secondary NameNode原理：Sec ...	admin_bigdatas 2014-2-5	04908	admin_bigdatas 2014-2-5 13:51
hadoop中槽-slot是线程还是进程讨论 hadoop一个节点默认起两个map slot，这两个slot是多线程吗？ hadoop-0.21.0 源码中是这样的：首先看看 org.apache.hadoop.mapred.TaskTracker 类： ======================================= ...	admin_bigdatas 2014-2-5	02491	admin_bigdatas 2014-2-5 13:43
集群瓶颈为什么是磁盘io 集群的瓶颈提出多种看法，其中网络和磁盘io的争议比较大。这里举几个例子，让大家来参考一下。案例一自从使用阿里云以来，我们遇到了三次故障（一、二、三），这三次故障都与磁盘IO高有关。 ...	admin_bigdatas 2014-2-5	04014	admin_bigdatas 2014-2-5 13:37
InputFormat的数据划分、Split调度、数据读取三个问题的浅析在执行一个Job的时候，Hadoop会将输入数据划分成N个Split，然后启动相应的N个Map程序来分别处理它们。数据如何划分？Split如何调度（如何决定处理Split的Map程序应该运行在哪台TaskTracker机器 ...	admin_bigdatas 2014-2-5	02305	admin_bigdatas 2014-2-5 13:31
hadoop集群内存设置 1. 内存 hadoop为各个守护进程（namenode,secondarynamenode,jobtracker,datanode,tasktracker）统一分配的内存在hadoop-env.sh中设置，参数为HADOOP_HEAPSIZE，默认为1000M。大部分情况下， ...	admin_bigdatas 2014-2-5	04494	admin_bigdatas 2014-2-5 13:29

1 ... 3 4 5 6 7 8 91011 / 11 页下一页

收藏本站

快速投稿

联系我们

广告服务

基石导航

峰会活动

基石数据

社区

Hadoop 今日: 0|主题: 220|排名: 12

快速发帖