Hadoop MapReduce工作原理(六)

Feb 18,2017 in Hadoop read (1080)

环境准备进入符号链接的真实目录 cd -P link start x启动图形界面 /etc/default/grub sudo update-grub cat /etc/issue 查看linux版本重启下载hdt,解压放到插件目录添加Hadoop Location...

Hadoop MapReduce(五)

Feb 15,2017 in Hadoop read (1024)

初识MapReduce 输入给map的时候每条数据加上行号构成key,value对,经过map的处理转换为另一种k,v对,然后shuffle,使reduce更容易处理编写Mapper类 import java.io.IOException; import org.ap...

Feb 15,2017 in Hadoop read (1093)

节点架构单节点体系集群架构节点(进程)之间的距离:到达共同节点距离之和副本存放策略 V1 同一个机架放2分,另一份放到其他机架(当前节点为存储节点) V2 在一个机架上放1分,另外2分放到其他机架,防止断点数据丢失(当前节点为存储节点) 如...

Feb 15,2017 in Hadoop read (850)

最近刚接触Hadoop, 一直没有弄明白NameNode和Secondary NameNode的区别和关系。很多人都认为，Secondary NameNode是NameNode的备份，是为了防止NameNode的单点失败的，直到读了这篇文章Secondary Namenod...

Feb 14,2017 in Hadoop read (993)

独立模式没有运行的守护程序，所有程序运行在一个JVM中。适合开发期间运行MapReduce程序，源于他的易于测试和调试 Nothing!(不用配置) local FileSystem和local MR job runner 伪分布式 Hadoop的三种模式可以共存,使...

Feb 14,2017 in Hadoop read (910)

Hadoop简介 Apache开源软件,Doug Cutting(Luncene) 计算框架分布式可靠可伸缩搜索引擎海量数据存储 Hadoop发展史 2002年Apache Nutch 抓取网页,数十亿存储瓶颈 2003年 GFS论文 ...

Feb 14,2017 in Hadoop read (948)

大数据生态系统 Java-大数据的基石 Hadoop生态圈 Hive Hive依赖HDFS进行存储,表是逻辑表 Hive的SQL翻译成MR执行 Hive可以将结构化数据映射成一张单表 OLAP,重在分析和统计不支持低延迟操作不提供row...

Feb 14,2017 in JVM read (896)

Trace跟踪参数 -verbose:gc -XX:+printGC 可以打印GC的简要信息 [GC 4790K->374K(15872K), 0.0001606 secs] [GC 4790K->374K(15872K), 0.0001474 secs] [G...