IPC 和 RPC IPC: 进程间通信 RPC:remote procedure call, 远程过程调用 Socket: 套接字编程 Socket: 客户端套接字 ServerSocket: 服务器端 nio: 异步通信 Channel Selector hadoop 底层通信, 使用 Go...
Continue reading1. mkdir: Permission denied 原因: 使用 hadoop fs -mdkir /xxx/xxx 创建文件路径时, 出现权限问题 1. 使用 hdfs 这个用户登录 sudo -uhdfs hadoop fs -mdkir /xxx/xxxx 2. 通过 hdfs 用户...
Continue reading环境准备 进入符号链接的真实目录 cd -P link start x 启动图形界面 /etc/default/grub sudo update-grub cat /etc/issue 查看 linux 版本 重启 下载 hdt, 解压放到插件目录 添加 Hadoop Location...
Continue reading节点架构 单节点体系 集群架构 节点 (进程) 之间的距离: 到达共同节点距离之和 副本存放策略 V1 同一个机架放 2 分, 另一份放到其他机架(当前节点为存储节点) V2 在一个机架上放 1 分, 另外 2 分放到其他机架, 防止断点数据丢失(当前节点为存储节点) 如...
Continue reading独立模式 没有运行的守护程序，所有程序运行在一个 JVM 中。适合开发期间运行 MapReduce 程序，源于他的易于测试和调试 Nothing!(不用配置) local FileSystem 和 local MR job runner 伪分布式 Hadoop 的三种模式可以共存, 使...
Continue readingHadoop 简介 Apache 开源软件, Doug Cutting(Luncene) 计算框架 分布式 可靠 可伸缩 搜索引擎 海量数据存储 Hadoop 发展史 2002 年 Apache Nutch 抓取网页, 数十亿存储瓶颈 2003 年 GFS 论文 ...
Continue reading1. 更改主机名 #使用 root 用户 vim /etc/sysconfig/network #将 HOSTNAME 分别改为 master,slave1,slave2.... 2. 设置固定 ip #使用 root 用户 #使用 setup 命令将所有主机改为同一网段的 ip 3. 更改 hosts...
Continue reading1. 修改下主机名为 master vim /etc/sysconfig/network #修改 HOSTNAME 为 master #重启电脑后再查看结果 hostname 2. 修改 hosts 中的主机名 vim /etc/hosts #改为: 127.0.0.1 master lo...
Continue reading