【配置】Windows10配置Hadoop2.9.2单机版


一、准备

基本信息

  • 操作系统: Windows10
  • jdk版本: 1.8
  • Hadoop版本: 2.9.2

下载并解压


二、配置

环境变量

  • 新建系统变量 HADOOP_HOME 至所在目录,如 D:\environment\hadoop-2.9.2

    HadoopHOME

  • path 中添加 %HADOOP_HOME%\bin%HADOOP_HOME%\sbin 并以 ; (英文分号)与其他项隔开。

    path

Hadoop配置文件

均在 %HADOOP_HOME%\etc\hadoop\ 下面:

  1. 修改 hadoop-env.cmd ,查找 set JAVA_HOME ,将后面内容改为JDK目录。

    查看详细
    1
    2
    3
    @rem The java implementation to use.  Required.
    @rem set JAVA_HOME=%JAVA_HOME%
    set JAVA_HOME=D:\environment\Java\jdk1.8.0_201
  2. 修改 core-site.xml

    查看详细
    1
    2
    3
    4
    5
    6
    <configuration>
    <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
    </property>
    </configuration>
  3. 修改 hdfs-site.xml

    查看详细
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    <configuration>
    <property>
    <name>dfs.replication</name>
    <value>1</value>
    </property>
    <property>
    <name>dfs.namenode.name.dir</name>
    <value>/D:/environment/hadoop-2.9.2/data/namenode</value>
    </property>
    <property>
    <name>dfs.datanode.data.dir</name>
    <value>/D:/environment/hadoop-2.9.2/data/datanode</value>
    </property>
    </configuration>
  4. 修改 yarn-site.xml

    查看详细
    1
    2
    3
    4
    5
    6
    <configuration>
    <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
    </property>
    </configuration>

winutils

把之前下载的 winutils 解压,找到对应版本,将内容覆盖到 hadoop-2.9.2\bin 中。

格式化namenode

管理员权限启动命令行,运行 hdfs namenode -format ,这项命令只用在第一次启动前执行。如果结果中看到有 successfully ,说明以上配置成功。

format

三、测试

管理员权限启动命令行,如果之前没有在 path 中配置 sbin ,那么 cd%HADOOP_HOME%\sbin 中,运行 start-all 启动,出现以下四个窗口:

start

即对应运行 jps 显示以下五个进程名称:

jps

访问 http://localhost:8088 查看集群状态:

8088

访问 http://localhost:50070 查看Hadoop状态:

50070

命令行运行 stop-all 关闭。

_/_/_/_/_/ EOF _/_/_/_/_/