当前标签: ContextCleaner

Spark2.1.0——ContextCleaner的工作原理分析

ContextCleaner是SparkContext中的组件之一。ContextCleaner用于清理那些超出应用范围的RDD、Shuffle对应的map任务状态、Shuffle元数据、Broadcast对象以及RDD的Checkpoint数据。创建ContextCleaner 创建ContextClean...

2018-12-17 09:54 阅读(293)

1

好文分享

在线画流程图、思维导图、组织结构图、拓扑图

阅读数 40