<>前言

(仅用于学习用途)本人用VMware Workstation
Pro虚拟机(以下简称VMware)虚拟出三台(一主二从,一个master,两个slave)CentOS7操作系统搭建Hadoop集群(包括虚拟机性能规划、主从节点规划、IP规划等),实现本地与云平台之间的文件上传、下载功能。

  本文接下来是搭建Hadoop的过程,此过程不给出源码和具体操作步骤,但是会给出讲解和每一步问题和检查的截图效果(小弟已经按照此步骤成功搭建3次了【因为linux开源,很容易搞崩系统。。建议初学者备份自己重要的东西,不建议用个人电脑或者服务器来初学练手,所以也用了VM来搞,先克隆初始状态系统(
简单VMware克隆教程 <https://blog.csdn.net/ViMan1204/article/details/88750745>
)搞崩了一次系统创建一次,so easy】)。遇到不懂的地方先自行想办法解决。在哪里卡住就直接【google, bing,
百度】哪个标题。如果问题还是解决不了,可以在下面评论区提出问题给大家解决或者私发消息给我,欢迎大家一起讨论学习~小弟才学粗浅,在博客写的过程不对或者错误地方请各位大神英雄好汉指出。

<>1. 准备工具

  CentOS-7-x86_64-DVD-1611.iso
<https://my.vmware.com/web/vmware/details?downloadGroup=WKST-1400-WIN&productId=686&rPId=18497>
(以下简称CentOS-7)操作系统
  VMwareWorkstationPro14.0.0
<https://my.vmware.com/web/vmware/details?downloadGroup=WKST-1400-WIN&productId=686&rPId=18497>
(以下简称VMware)
  jdk-8u141-linux-x64.tar.gz
<https://www.oracle.com/technetwork/java/javase/downloads/java-archive-javase8-2177648.html>
(以下简称JDK)
  hadoop-2.7.4.tar.gz
<https://archive.apache.org/dist/hadoop/core/hadoop-2.7.4/>(以下简称Hadoop)
  PuTTY <https://www.putty.org/>
  FileZilla <https://filezilla-project.org/download.php?type=client>
如以上官网链接无法打开,请自行百度或者google下载

<>2. VMware 14安装 CentOS 7
<https://blog.csdn.net/ViMan1204/article/details/88750488>

<>3. CentOS-7系统的基本配置
<https://blog.csdn.net/ViMan1204/article/details/88797342>

<>  3.1 修改CentOS-7系统的IP地址
<https://blog.csdn.net/ViMan1204/article/details/88785693>

<>  3.2 修改CentOS-7系统的主机名
<https://blog.csdn.net/ViMan1204/article/details/88785853>

<>  3.3 修改CentOS-7的IP地址与主机名的映射关系
<https://blog.csdn.net/ViMan1204/article/details/88785875>

<>  3.4 关闭CentOS-7防火墙
<https://blog.csdn.net/ViMan1204/article/details/88785945>

<>4. 部分工具的使用方法 <https://blog.csdn.net/ViMan1204/article/details/88801930>

<>  4.1 Putty使用方法 <https://blog.csdn.net/ViMan1204/article/details/88785973>

<>  4.2 FileZilla使用方法
<https://blog.csdn.net/ViMan1204/article/details/88786112>

<>  4.3 安装JDK <https://blog.csdn.net/ViMan1204/article/details/88786148>

<>5 搭建Hadoop <https://blog.csdn.net/ViMan1204/article/details/88853408>

<>  5.1 Hadoop集群概念设计
<https://blog.csdn.net/ViMan1204/article/details/88878118>

<>  5.2 安装Hadoop <https://blog.csdn.net/ViMan1204/article/details/88901448>

<>    5.2.1 修改hadoop-env.sh配置文件(一)
<https://blog.csdn.net/ViMan1204/article/details/88955799>

<>    5.2.2 修改core-site.xml配置文件(二)
<https://blog.csdn.net/ViMan1204/article/details/88980813>

<>    5.2.3 修改hdfs-site.xml配置文件(三)
<https://blog.csdn.net/ViMan1204/article/details/89005702>

<>    5.2.4 修改mapred-site.xml配置文件 (四)
<https://blog.csdn.net/ViMan1204/article/details/89035878>

<>    5.2.5 修改yarn-site.xml配置文件(五)
<https://blog.csdn.net/ViMan1204/article/details/89048469>

<>    5.2.6 配置hadoop环境变量
<https://blog.csdn.net/ViMan1204/article/details/89052654>

<>    5.2.7 配置slave <https://blog.csdn.net/ViMan1204/article/details/89052845>

<>  5.3 创建从机(slave) <https://blog.csdn.net/ViMan1204/article/details/89057182>

<>    5.3.1 克隆虚拟机并创建从机
<https://blog.csdn.net/ViMan1204/article/details/89057458>

<>    5.3.2 安装密钥 <https://blog.csdn.net/ViMan1204/article/details/89057836>

<>    5.3.3 使用ssh传输文件
<https://blog.csdn.net/ViMan1204/article/details/89112787>

<>  5.4 构建HDFS <https://blog.csdn.net/ViMan1204/article/details/89162376>

<>    5.4.1 初始化hdfs <https://blog.csdn.net/ViMan1204/article/details/89218831>

<>    5.4.2 查看master节点启动状态
<https://blog.csdn.net/ViMan1204/article/details/89219116>

<>    5.4.3 查看各个节点启动状态
<https://blog.csdn.net/ViMan1204/article/details/89219277>

<>  5.5 Hadoop运行结果 <https://blog.csdn.net/ViMan1204/article/details/89221320>

<>    5.5.1 使用HDFS管理界面
<https://blog.csdn.net/ViMan1204/article/details/89221731>

<>    5.5.2 使用yarn管理界面
<https://blog.csdn.net/ViMan1204/article/details/89260291>

<>6.功能测试 <https://blog.csdn.net/ViMan1204/article/details/89295942>

<>  6.1 执行上传文件 <https://blog.csdn.net/ViMan1204/article/details/89296135>

<>  6.2 执行下载文件 <https://blog.csdn.net/ViMan1204/article/details/89318774>

<>快速链接

上一篇 汇总目录 下一篇
本篇 <https://blog.csdn.net/ViMan1204/article/details/88725387> 云计算数据平台-hadoop集群
<https://blog.csdn.net/ViMan1204/article/details/88725387> 2.在VMware 14安装
CentOS 7 <https://blog.csdn.net/ViMan1204/article/details/88750488>

友情链接
ioDraw流程图
API参考文档
OK工具箱
云服务器优惠
阿里云优惠券
腾讯云优惠券
华为云优惠券
站点信息
问题反馈
邮箱:ixiaoyang8@qq.com
QQ群:637538335
关注微信