©2016-2024 Matools All rights reserved,
粤ICP备17059708号
Zookeeper
Zookeeper是一个分布式协调服务，一个leader，多个follower组成的集群，就是为用户的分布式应用程序提供协调服务。
Zookeeper是为别的分布式程序服务的。
Zookeeper所提供的服务涵盖：主从协调、服务器节点动态上下线、统一配置管理、分布式共享锁、统一名称服务等。
Yarn
Yarn目标：YARN的目标就是实现“一个集群多个框架”，即在一个集群上部署一个统一的资源调度管理框架YARN，在YARN之上可以部署其他各种计算框架。
由YARN为这些计算框架提供统一的资源调度管理服务，并且能够根据各种计算框架的负载需求，调整各自占用的资源，实现集群资源共享和资源弹性收缩。
可以实现一个集群上的不同应用负载混搭，有效提高了集群的利用率。
不同计算框架可以共享底层存储，避免了数据集跨集群移动。
组成：
Resource Manager:
是一个全局的资源管理器，负责整个系统的资源管理和分配,主要包括两个组件，即调度器（Scheduler）和应用程序管理器（Applications
Manager）。调度器接收AM应用资源请求,并把动态资源以容器（Container）分配。
AManager负责应用管理工作,主要包括应用程序提交、与调度器协商资源以启动AMaster、监控AMaster运行状态、并在失败时重新启动。
(1) 处理客户端请求。
(2) 启动/监控ApplicationMaster。
(3) 监控NodeManager。
(4) 资源分配与调度。
备注： ApplicationMaster，可为应用程序申请资源,并分配给内存服务；任务调度、监控与容错。
NodeManager：
（1）单个节点上的资源管理。
（2）处理Application Master或ResourceManager的命令。
备注：容器生命周期管理、监控每个容器的资源（CPU、内存等）使用情况、以心跳的形式与ResourceManager保持通信。
热门工具 换一换