Hadoop-基础篇-在Windows上安装 - 好文

下载软件

* hadoop版本：hadoop-2.8.3.tar.gz。官网下载 <http://hadoop.apache.org/releases.html>
* winutisl插件（window系统才需要，）：winutils-master.zip。Git下载地址
<https://github.com/steveloughran/winutils>
安装步骤

* 解压hadoop-2.8.3.tar.gz至C:\hadoop-2.8.3。注意：不要安装在有空格的路径中
* 设置环境变量：在path添加 ;C:\Program Files\hadoop\2.8.4\bin
*
解压winutils-master.zip（我是把所有版本的内容都下载了，选择和你版本符合的内容，复制bin文件夹，覆盖到C:\hadoop-2.8.3\bin）
* 复制C:\hadoop-2.8.3\bin\hadoop.dll到C:\windows\System32下
*
修改C:\hadoop-2.8.3\etc\hadoop下的5个文件内容，分别如下：

* core-site.xml <?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet
type="text/xsl" href="configuration.xsl"?> <configuration> <property>
<name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property>
</configuration>
* hadoop-env.cmd set JAVA_HOME=C:\Progra~1\Java\jdk1.8.0_121
* 1
设置JAVA_HOME，注意不能值不能有空格，原来的JAVA_HOME=C:\Program
Files\Java\jdk1.8.0_121，用C:\Progra~1\Java\jdk1.8.0_121替换

* hdfs-site.xml <?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet
type="text/xsl" href="configuration.xsl"?> <configuration> <property>
<name>dfs.replication</name> <value>1</value> </property> <property>
<name>dfs.namenode.name.dir</name>
<value>file:/hadoop-2.8.3/data/dfs/namenode</value> </property> <property>
<name>dfs.datanode.data.dir</name>
<value>file:/hadoop-2.8.3/data/dfs/datanode</value> </property> </configuration>
不需要手动创建文件夹，程序会自动创建文件

* mapred-site.xml <?xml version="1.0"?> <?xml-stylesheet type="text/xsl"
href="configuration.xsl"?> <configuration> <property>
<name>mapreduce.framework.name</name> <value>yarn</value> </property>
</configuration>
mapred-site.xml默认是没有，通过mapred-site.xml.template，删除后缀.template得到

* yarn-site.xml <?xml version="1.0"?> <configuration> <property>
<name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value>
</property> <property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value> </property>
</configuration>
启动服务

* 运行命令：c:\hadoop-2.8.3\bin>hadoop namenode -format
* 进入sbin启动服务：c:\hadoop-2.8.3\sbin>start-all.cmd
访问地址

* http://localhost:8088/ <http://localhost:8088/>
* http://localhost:50070/ <http://localhost:50070/>
如何学习大数据？学习没有资料？

想学习大数据开发技术，Hadoop，spark，云计算，数据分析等技术，在这里向大家推荐一个学习资料分享群：894951460，
里面有大牛已经整理好的相关学习资料，希望对你们有所帮助。

热门工具换一换