hdfs集群(hadoop_03)-白红宇

hdfs集群(hadoop_03)

阅读量：4495 次

发布时间：2019-06-08

本文共 1249 字，大约阅读时间需要 4 分钟。

上传安装包

hadoop-2.6.5 解压到 apps下

修改配置文件

cd apps/hadoop-2.6.5/etc/hadoop/
vim hadoop-env.sh
export JAVA_HOME=///jdk8

配置hdfs

cd apps/hadoop-2.6.5/etc/hadoop/
vim core-site.xml
注：
1、第一个配置：代表用哪一种文件系统，這里用hdfs。
2、第二个配置：用来存放运行时产生的零时文件。
3、hdfs://hadoop01:9000中hadoop01是master节点的主机名。


      
                 
      
       fs.default.name
        或者 
      
       fs.defaultFS
                
      
       hdfs://hadoop01:9000
           
          
                 
      
       hadoop.tmp.dir
                  
      
       /usr/local/lzd_hadoop/apps/datatemp
                  
      
       A base for other temporary directories.

复制改好的配置文件到其它系统

scp -r apps hdp_slave_02:$PWD
$PWD 和当前目录一样的目录

配置全局环境

HADOOP_HOME=/usr/local/lzd_hadoop/apps/hadoop-2.6.5
PATH=$PATH:HADOOP_HOME/bin:HADOOP_HOME/sbin
export HADOOP_HOME PATH

初始化namenode(格式化)

Namenode在机器上运行是会记录一些数据，数据记录有一个特点的目录，在namenode启动之前先构成出這样一个目录。

hadoop namenode -format

启动集群

方式一
一个个启动hadoop-daemon.sh start namenode
Jsp
出现namenode 就没问题
netstat -nltp 看监听端口
浏览器输入：hadoop01:50070
Datanode 和上述一样
方式二
前提：
先配合免密登陆，修改slaves文件配置所有需要启动的从节点。
[root@hadoop02 conf]$ cat slaves
hadoop02
hadoop03
在主节点上运行命令：
Start-dfs.sh即可启动集群中的所有节点