Hadoop系列-配置伪分布式(五)
1.修改下主机名为master
vim /etc/sysconfig/network
#修改HOSTNAME为master
#重启电脑后再查看结果
hostname
2.修改hosts中的主机名
vim /etc/hosts
#改为:127.0.0.1 master localhost
#查看是否成功
ping master
3.修改系统配置文件
#修改~/.bash_profile文件,增加HADOPP_HOME的bin
vim ~/.bash_profile
#用source命令使配置文件生效
source ~/.bash_profile
4.在hadoop目录下创建文件夹
mkdir dfs
cd mkdir
mkdir name
mkdir data
```bash
5.修改配置文件
> 配置文件路径为hadoop2.6.0/etc/hadoop
配置slave文件
```bash
#将localhost改为master
#因为是伪分布式的只有一台机器
配置sh文件
#hadoop-env.sh,yarn-env.sh,mapred-env.sh
#去掉JAVA_HOME的注释并修改为JDK的安装路径
配置core-site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/matrix/hadoop2.6.0/tmp</value>
</property>
```bash
配置hdfs-site.xml
```bash
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/matrix/hadoop2.6.0/dfs/name</value>
</property>
<property>
<name>dfs.namenode.data.dir</name>
<value>/home/matrix/hadoop2.6.0/dfs/data</value>
</property>
配置mapred-site.xml
把mapred-site.xml.template复制为mapred-site.xml并编辑
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
配置yarn-site.xml
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
6.对文件系统进行格式化
hadoop namenode -format
7.启动命令
#启动HDFS
start-dfs.sh
#启动yarn
start-yarn.sh
#启动所有
start-all.sh
#停止所有
stop-all.sh
#jps用于查看启动的进程
jps
8.向HDFS上传及查看文件
#新建文件夹
fs -makedir -p /data/test
#上传文件
fs -put README.txt /data/test/
#查看文件
hadoop fs -text /data/test/README.txt
9.Hadoop Web控制台页面的端口
使用方法:
http://master:50070
50070: HDFS文件管理
8088: ResourceManager
8042: NodeManager
19888: JobHistory(使用“mr-jobhistory-daemon.sh”来启动JobHistory Server)