Spark2.1.0——SparkUI的实现 - 好文

任何系统都需要提供监控功能，否则在运行期间发生一些异常时，我们将会束手无策。也许有人说，可以增加日志来解决这个问题。日志只能解决你的程序逻辑在运行期的监控，进而发现Bug，以及提供对业务有帮助的调试信息。当你的JVM进程奔溃或者程序响应速度很慢时，这些日志将毫无用处。好在JVM提供了jstat、jstack、jinfo、jmap、jhat等工具帮助我们分析，更有VisualVM的可视化界面以更加直观的方式对JVM运行期的状况进行监控。此外，像Tomcat、Hadoop等服务都提供了基于Web的监控页面，用浏览器能访问具有样式及布局，并提供丰富监控数据的页面无疑是一种简单、高效的方式。

Spark自然也提供了Web页面来浏览监控数据，而且Master、Worker、Driver根据自身功能提供了不同内容的Web监控页面。无论是Master、Worker，还是Driver，它们都使用了统一的Web框架WebUI。Master、Worker及Driver分别使用MasterWebUI、WorkerWebUI及SparkUI提供的Web界面服务，后三者都继承自WebUI，并增加了个性化的功能。此外，在Yarn或Mesos模式下还有WebUI的另一个扩展实现HistoryServer。HistoryServer将会展现已经运行完成的应用程序信息。本章以SparkUI为例，并深入分析WebUI的框架体系。

<>SparkUI概述

在大型分布式系统中，采用事件监听机制是最常见的。为什么要使用事件监听机制？假如Spark
UI采用Scala的函数调用方式，那么随着整个集群规模的增加，对函数的调用会越来越多，最终会受到Driver所在JVM的线程数量限制而影响监控数据的更新，甚至出现监控数据无法及时显示给用户的情况。由于函数调用多数情况下是同步调用，这就导致线程被阻塞，在分布式环境中，还可能因为网络问题，导致线程被长时间占用。将函数调用更换为发送事件，事件的处理是异步的，当前线程可以继续执行后续逻辑进而被快速释放。线程池中的线程还可以被重用，这样整个系统的并发度会大大增加。发送的事件会存入缓存，由定时调度器取出后，分配给监听此事件的监听器对监控数据进行更新。Spark
UI就是这样的服务，它的构成如图1所示。
图1 SparkUI的组成
图1展示了SparkUI中的各个组件，这里对这些组件作简单介绍：

*
SparkListenerEvent事件的来源：包括DAGScheduler、SparkContext、DriverEndpoint、BlockManagerMasterEndpoint以及LocalSchedulerBackend等，这些组件将会产生各种SparkListenerEvent，并发送到listenerBus的事件队列中。DriverEndpoint是Driver在Standalone或local-cluster模式下与其他组件进行通信的组件，本书将在9.9.2节详细介绍。BlockManagerMasterEndpoint是Driver对分配给应用的所有Executor及其BlockManager进行统一管理的组件，本书将在6.8节详细介绍。LocalSchedulerBackend是local模式下的调度后端接口，用于给任务分配资源或对任务的状态进行更新，本书将在7.8.2节详细介绍。
* 事件总线listenerBus。根据《Spark2.1.0之源码分析——事件总线
<https://blog.csdn.net/beliefer/article/details/82344720>
》一文对事件总线的介绍，我们知道listenerBus通过定时器将SparkListenerEvent事件匹配到具体的SparkListener，进而改变各个SparkListener中的统计监控数据。
* Spark
UI的界面。各个SparkListener内的统计监控数据将会被各种标签页和具体页面展示到Web界面。标签页有StagesTab、JobsTab、ExecutorsTab、EnvironmentTab以及StorageTab。每个标签页中包含若干个页面，例如StagesTab标签页中包含了AllStagesPage、StagePage及PoolPage三个页面。
*
控制台的展示。细心的读者会发现图1中还有SparkStatusTracker（Spark状态跟踪器）和ConsoleProgressBar（控制台进度条）两个组件。SparkStatusTracker负责对Job和Stage的监控，其实际也是使用了JobProgressListener中的监控数据，并额外进行了一些加工。ConsoleProgressBar负责将SparkStatusTracker提供的数据打印到控制台上。从最终展现的角度来看，SparkStatusTracker和ConsoleProgressBar不应该属于SparkUI的组成部分，但是由于其实现与JobProgressListener密切相关，所以将它们也放在了SparkUI的内容中。
Spark UI构建在WebUI的框架体系之上，因此我将在《Spark2.1.0——WebUI框架体系
<https://blog.csdn.net/beliefer/article/details/84101281>
》一文介绍WebUI。在介绍了WebUI之后，将在《Spark2.1.0——创建SparkUI的分析
<https://blog.csdn.net/beliefer/article/details/84231122>》一文中介绍SparkUI的创建过程。

热门工具换一换