Windows下搭建hadoop 搭建本地hadoop开发环境 - 好文

一、下载所需文件

1.JDK下载地址：点击打开链接
<http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html>

2.Hadoop下载地址：点击打开链接 <http://hadoop.apache.org/#Download+Hadoop>

3.Windows下安装Hadoop工具下载地址:点击打开链接
<https://pan.baidu.com/s/1eGra7gKCDbvNubO8UO5rgw> 密码：yk9u

二、jdk安装

1.不会看这里点击打开链接
<https://jingyan.baidu.com/article/6dad5075d1dc40a123e36ea3.html>

三、Hadoop环境配置

    1.下载Hadoop，并解压到你的本地目录，我下载的是hadoop-2.5.2版本，解压在D:\hadoop\hadoop-2.5.2。



四、配置Hadoop的环境变量

1.计算机 –>属性 –>高级系统设置 –>高级选项卡 –>环境变量 –> 单击新建HADOOP_HOME



    注意：路径到bin的上级目录即可。

    2.Path环境变量下配置【%HADOOP_HOME%\bin;】变量



五、配置Hadoop文件

1.编辑“D:\hadoop\hadoop-2.5.2\etc\hadoop”下的core-site.xml文件，将下列文本粘贴进去，并保存。
<configuration> <property> <name>hadoop.tmp.dir</name>
<value>/D:/hadoop/workplace/tmp</value> </property> <property>
<name>dfs.name.dir</name> <value>/D:/hadoop/workplace/name</value> </property>
<property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value>
</property> </configuration> 2.编辑“D:\hadoop\hadoop-2.5.2\etc\hadoop”目录下的
mapred-site.xml(如果不存在将mapred-site.xml.template重命名为mapred-site.xml)文件，粘贴一下内容并保存。
<configuration> <property> <name>mapreduce.framework.name</name>
<value>yarn</value> </property> <property> <name>mapred.job.tracker</name>
<value>hdfs://localhost:9001</value> </property> </configuration>
3.编辑“D:\hadoop\hadoop-2.5.2\etc\hadoop”目录下的hdfs-site.xml文件，粘贴以下内容并保存。
<configuration>  <property>
<name>dfs.replication</name> <value>1</value> </property> <property>
<name>dfs.data.dir</name> <value>/D:/hadoop/workplace/data</value> </property>
</configuration> 4.编辑“D:\hadoop\hadoop-2.5.2\etc\hadoop”目录下的yarn-site.xml
文件，粘贴以下内容并保存。
<configuration> <property> <name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value> </property> <property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value> </property>
</configuration>
5.编辑“D:\hadoop\hadoop-2.5.2\etc\hadoop”目录下的hadoop-env.cmd文件，将JAVA_HOME用
@rem注释掉，编辑为JAVA_HOME的路径，然后保存。
@rem set JAVA_HOME=%JAVA_HOME% set JAVA_HOME=D:\java\jdk
六、替换文件

将1.3下载到的hadooponwindows-master.zip，解压，将全部bin目录文件替换至hadoop目录下的bin目录。

七、运行环境

    1.运行cmd窗口，执行hdfs namenode -format。

    2.运行cmd窗口，切换到hadoop的sbin目录，执行start-all.cmd，它将会启动以下4个进程窗口。









八、上传测试

根据你core-site.xml的配置，接下来你就可以通过：hdfs://localhost:9000来对hdfs进行操作了。

1.创建输入目录
C:\WINDOWS\system32>hadoop fs -mkdir hdfs://localhost:9000/user/ C:\WINDOWS
\system32>hadoop fs -mkdir hdfs://localhost:9000/user/wcinput
2.上传数据到目录
C:\WINDOWS\system32>hadoop fs -put D:\personal\debug.log
hdfs://localhost:9000/user/wcinput C:\WINDOWS\system32>hadoop fs -put D:\
personal\waz.txt hdfs://localhost:9000/user/wcinput
3.查看文件



QA常见问题：

    1:启动hadoop可能提示找不到JAVA_HOME路径,是因为hadoop读取JAVA_HOME环境变量存在空格导致。

    2:启动hadoop提示找不到HADOOP，是因为Hadoop环境变量没有配置好，请检查Hadoop环境变量配置。

hadoop自带的web控制台GUI

1.资源管理GUI:http://localhost:8088/ <http://localhost:8088/>；

2.节点管理GUI:http://localhost:50070/ <http://localhost:50070/>

热门工具换一换