什么是Oozie——大数据任务调度框架 - 好文

Oozie简介

* Oozie是大数据四大协作框架之一——任务调度框架，另外三个分别为数据转换工具Sqoop,文件收集库框架Flume,大数据WEB工具Hue。
* 它能够提供对Hadoop MapReduce和Pig Jobs的任务调度与协调。
* Oozie需要部署到Java Servlet容器中运行。
* 功能相似的任务调度框架还有Azkaban和Zeus。
Oozie三大功能模块

从图中不难看出，Oozie主要有三大功能模块构成：

* workflow(工作流)：定义job任务执行。
* Coordinator：定时触发workflow，周期性执行workflow
* Bundle Job：绑定多个coordinator，一起提交或触发所以coordinator
Oozie工作流

* Oozie工作流定义，同JBoss
jBPM提供的jPDL一样，也提供了类似的流程定义语言hPDL，通过XML文件格式来实现流程的定义。对于工作流系统，一般都会有很多不同功能的节点，比如分支、并发、汇合等等。
* Oozie定义了控制流节点（Control Flow Nodes）和动作节点（Action
Nodes），其中控制流节点定义了流程的开始和结束，以及控制流程的执行路径（Execution
Path），如decision、fork、join等；而动作节点包括Hadoop
map-reduce、Hadoop文件系统、Pig、SSH、HTTP、eMail和Oozie子流程。
* oozie本质就是一个作业协调工具（底层原理是通过将xml语言转换成mapreduce程序来做，但只是在集中map端做处理，避免shuffle的过程。）

执行workflow之前首先要进行相关配置：

* job.properties 定义job相关属性以及参数
* workflow.xml 定义控制流和动作节点
* lib 存放job任务运行的相关资料文件[jar]
特别注意：

Oozie的工作流必须是一个有向无环图，实际上Oozie就相当于Hadoop的一个客户端，当用户需要执行多个关联的MR任务时，只需要将MR执行顺序写入workflow.xml，然后使用Oozie提交本次任务，Oozie会托管此任务流。

Oozie Cli命令

注意：使用Oozie之前必须先启动hdfs，yarn和jobhistory，这里jobhistory一开始很容易忘~

l 启动任务

oozie job -oozie oozie_url -config job.properties_address -run

l 停止任务

oozie job -oozie oozie_url -kill jobId -oozie-oozi -W

l 提交任务

oozie job -oozie oozie_url -config job.properties_address -submit

l 开始任务

oozie job -oozie oozie_url -config job.properties_address -startJobId
-oozie-oozi -W

l 查看任务执行情况

oozie job -oozie oozie_url -config job.properties_address -info jobId
-oozie-oozi -W

说明：所有的命令都是以oozie job -oozie oozie_url 开头的-config 制定job.properties文件夹的位置，-run
文件启动后会返回一个唯一的jobId，供之后使用。

热门工具换一换