Hadoop伪分布式搭建

1、1. 配置Hadoop环境变量

# 配置HADOOP环境变量

 

vi /etc/profile

 

# 内容

 

export HADOOP_HOME=/usr/local/hadoop-2.9.2

 

export PATH=${JAVA_HOME}/bin:$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

 

# 立即生效

 

source /etc/profile

 

# 配置JAVA_HOME为JDK安装目录

 

vi /usr/local/hadoop-2.9.2/etc/hadoop/hadoop-env.sh

 

export JAVA_HOME=/usr/local/jdk1.8.0_231

2、2. 修改主机名

vi /etc/hosts

添加内容

192.168.71.130 master

3、3. 主要配置

# 创建目录

mkdir -p /hadoop/tmp

# 核心配置：core-site.xml

 

vi /usr/local/hadoop-2.9.2/etc/hadoop/core-site.xml

 

# 添加内容

 

<configuration>

 

        <property>

 

                <name>fs.default.name</name>

 

               <value>hdfs://master:9000</value>

 

        </property>

 

        <property>

 

                <name>hadoop.tmp.dir</name>

 

                <value>/hadoop/tmp</value>

 

        </property>

 

</configuration>

# HDFS 配置文件：hdfs-site.xml

 

vi /usr/local/hadoop-2.9.2/etc/hadoop/hdfs-site.xml

 

# 内容

 

<configuration>

 

        <property>

 

                <name>dfs.replication</name>

 

                <value>1</value>

 

        </property>

 

</configuration>

4、4. 格式化

hdfs namenode -format

5、5. mapreduce 配置

在 etc/hadoop 目录下：mapred-site.xml

 

将：mapred-site.xmlroot   改为：mapred-site.xml

cp /usr/local/hadoop-2.9.2/etc/hadoop/mapred-site.xml.template /usr/local/hadoop-2.9.2/etc/hadoop/mapred-site.xml.template 

# 配置

vi /usr/local/hadoop-2.9.2/etc/hadoop/mapred-site.xml

# 添加内容

 

<configuration>

 

<property>

 

        <name>mapreduce.framework.name</name>

 

        <value>yarn</value>

 

</property>

 

</configuration>

6、6. Yarn 配置 yarn-site.xml

# 添加配置

 

vi /usr/local/hadoop-2.9.2/etc/hadoop/yarn-site.xml

 

# 内容

 

<property>

 

       <name>yarn.nodemanager.aux-services</name>

 

       <value>mapreduce_shuffle</value>

 

</property>

 

<property>

 

       <name>yarn.resourcemanager.hostname</name>

 

       <value>master</value>

 

</property>

7、start-all.sh   启动所有节点