Hadoop系列-Hadoop的三种运行模式(四)

Aug 16,2016 in Hadoop read (1034)

单机模式 Hadoop的默认模式,安装完成后即为单机模式,单机模式下使用的是本地文件系统而不是分布式文件系统,Hadoop不会启动NameNode,DataNode,JobTracker,TaskTracker这些守护进程,Map和Reduce任务作为同一个进程的不同部分来...

Hadoop系列-MapReduce的体系结构(三)

Aug 16,2016 in Hadoop read (902)

分布式编程架构以数据为中心,更看重吞吐率分而治之 Map将一个任务分解成子任务 Reduce将分解后多任务分别处理,并将结果汇总为最终结果 ![MapReduce的体系结构][1] Client 用户编写的MapReduce程序通过Client提交给JobT...

Aug 16,2016 in Hadoop read (990)

设计目标自动快速检测应对硬件错误流式访问数据转移计算比转移数据本身更划算简单一致性模型异构平台的可移植性 ![HDFS体系结构][1] HDFS采用了master-slave架构,一个HDFS集群由一个master节点(NameNode)和...

Aug 16,2016 in Hadoop read (787)

1.安装JDK #把安装包移动到/home/matrix 解压安装包 tar -zxvf jdk-8u101-linux-x64.tar.gz #配置环境变量 export PATH=/home/matrix/jdk1.8.0_101/bin:$PATH #查看JDK是否配...