Hadoop 底层通信(八)

Mar 04,2017 in Hadoop read (803)

IPC和RPC IPC:进程间通信 RPC:remote procedure call,远程过程调用 Socket:套接字编程 Socket:客户端套接字 ServerSocket:服务器端 nio:异步通信 Channel Selector hadoop底层通信,使用Go...

hadoop常见问题

Feb 27,2017 in Hadoop,大数据 read (948)

1. mkdir: Permission denied 原因:使用hadoop fs -mdkir /xxx/xxx创建文件路径时,出现权限问题 1.使用hdfs这个用户登录 sudo -uhdfs hadoop fs -mdkir /xxx/xxxx 2.通过hdfs用户...

Feb 18,2017 in Hadoop read (1080)

环境准备进入符号链接的真实目录 cd -P link start x启动图形界面 /etc/default/grub sudo update-grub cat /etc/issue 查看linux版本重启下载hdt,解压放到插件目录添加Hadoop Location...

Feb 15,2017 in Hadoop read (1093)

节点架构单节点体系集群架构节点(进程)之间的距离:到达共同节点距离之和副本存放策略 V1 同一个机架放2分,另一份放到其他机架(当前节点为存储节点) V2 在一个机架上放1分,另外2分放到其他机架,防止断点数据丢失(当前节点为存储节点) 如...

Feb 14,2017 in Hadoop read (993)

独立模式没有运行的守护程序，所有程序运行在一个JVM中。适合开发期间运行MapReduce程序，源于他的易于测试和调试 Nothing!(不用配置) local FileSystem和local MR job runner 伪分布式 Hadoop的三种模式可以共存,使...

Feb 14,2017 in Hadoop read (910)

Hadoop简介 Apache开源软件,Doug Cutting(Luncene) 计算框架分布式可靠可伸缩搜索引擎海量数据存储 Hadoop发展史 2002年Apache Nutch 抓取网页,数十亿存储瓶颈 2003年 GFS论文 ...

Aug 17,2016 in Hadoop read (1024)

1.更改主机名 #使用root用户 vim /etc/sysconfig/network #将HOSTNAME分别改为master,slave1,slave2.... 2.设置固定ip #使用root用户 #使用setup命令将所有主机改为同一网段的ip 3.更改hosts...

Aug 17,2016 in Hadoop read (1220)

1.修改下主机名为master vim /etc/sysconfig/network #修改HOSTNAME为master #重启电脑后再查看结果 hostname 2.修改hosts中的主机名 vim /etc/hosts #改为:127.0.0.1 master lo...