当前标签: ContextCleaner

Spark2.1.0——ContextCleaner的工作原理分析

ContextCleaner是SparkContext中的组件之一。ContextCleaner用于清理那些超出应用范围的RDD、Shuffle对应的map任务状态、Shuffle元数据、Broadcast对象以及RDD的Checkpoint数据。 创建ContextCleaner 创建ContextClean...
2018-12-17 09:54 阅读(313)
©2016-2019 MaTools All rights reserved, 粤ICP备17059708号, IP流:
38.***.25.252 118.***.146.12 97.***.186.56 12.***.59.154 84.***.20.20 56.***.128.91 90.***.154.173 15.***.161.157 79.***.70.139 70.***.131.131