缘起


    之前的任务一直使用的是crontab定时任务,要通过监听任务运行日志才可以知道任务执行失败,并且还要设置邮件发送比较麻烦。最重要的是crontab无法维护任务之间的依赖关系。而使用Azkaban可以很方便的管理任务之间的依赖关系,可以设置任务失败执行重试操作和邮件发送,NICE!

安装
    首先第一步肯定是要上官网瞄一下啦!https://azkaban.github.io/azkaban/docs/latest/#overview
<https://azkaban.github.io/azkaban/docs/latest/#overview>


    solo server mode可以满足我们的需求,就是它了!



最好先创建一个工作目录,在工作目录里面操作,这里我创建了一个工作目录 /big_data,接着就按照官方文档的步骤来:
git clone https://github.com/azkaban/azkaban.git cd azkaban; ./gradlew build
./gradlew build ./gradlew clean ./gradlew installDist ./gradlew test ./gradlew
build -x test ./gradlew build installDist
画重点:为了避免不必要的权限问题出现,比如要执行的用户是hdfs,在这一步完成以后,一定要修改azkaban目录下的owner:
chown hdfs:hdfs -R azkaban/

开启azkaban服务:
cd azkaban-solo-server/build/install/azkaban-solo-server; bin/start-solo.sh
注意:为了避免用户权限问题,跑任务的是哪个用户,必须要切换到哪个用户启动azkaban,不然的话会出现权限问题!

停止azkaban服务:
cd azkaban-solo-server/build/install/azkaban-solo-server;bin/shutdown-solo.sh
开启azkaban服务后访问:http://IP:8081/index
默认的azkaban web端口号是8081

创建工作流

    创建工作流请跳到官网的https://azkaban.github.io/azkaban/docs/latest/#creating-flows
<https://azkaban.github.io/azkaban/docs/latest/#creating-flows>上查看,还是比较简单的!







填好工程名称和描述

    创建四个job:

    1 sync_Apply_CreditCard.job
#sync_Apply_CreditCard.job type=command command=sh
/big_data/sh/azkaban_mysql_2_hive_sh/sqoop_Apply_CreditCard.sh retries=3
#失败重试3次 retry.backoff=30000 #每次重试间隔,单位为毫秒

    2 sync_Company.job
type=command dependencies=sync_Apply_CreditCard command=sh
/big_data/sh/azkaban_mysql_2_hive_sh/sqoop_Company.sh retries=3
retry.backoff=30000

    3  sync_Product_CreditCard.job
type=command dependencies=sync_Company command=sh
/big_data/sh/azkaban_mysql_2_hive_sh/sqoop_Product_CreditCard.sh retries=3
retry.backoff=30000

    4 sync_Member.job
#sync_Member.job type=command dependencies=sync_Product_CreditCard command=sh
/big_data/sh/azkaban_mysql_2_hive_sh/sqoop_Member.sh retries=3
retry.backoff=30000

然后使用zip命令将这四个文件打成zip文件:
zip CRMMarket.zip *

选择刚才打好的zip文件上传,上传完成后可以看到:







    这就说明zip包解析没有问题,.job文件语法也没有问题,依赖关系也OK!


设置Schedule
1.设置azkaban为上海时区:
由于azkaban默认的时区是美国时区,所以要将默认时区设置成上海时区。azkaban的默认时区配置如下:
default.timezone.id=America/Los_Angeles
包含时区设置的文件有四个:

/big_data/azkaban/azkaban-solo-server/src/main/resources/conf/azkaban.properties
/big_data/azkaban/azkaban-solo-server/build/resources/main/conf/azkaban.properties
/big_data/azkaban/azkaban-solo-server/build/install/azkaban-solo-server/conf/azkaban.properties

将这四个文件的时区设置修改成:
#default.timezone.id=America/Los_Angeles default.timezone.id=Asia/Shanghai

然后重启azkaban服务。
2.设置定时任务:
选中project,点击Execute Flow:







设置每天16:00跑这个定时任务:




设置邮箱通知

    Azkaban还具有任务执行结果邮件通知功能,在solo server mode安装模式下,配置邮件通知的方式如下:
1.配置邮件发送者:
/big_data/azkaban/azkaban-solo-server/src/main/resources/conf/azkaban.properties
/big_data/azkaban/azkaban-solo-server/build/resources/main/conf/azkaban.properties
/big_data/azkaban/azkaban-solo-server/build/install/azkaban-solo-server/conf/azkaban.properties
    修改这三个文件的如下内容:
# mail settings #mail.sender=邮件发送者 #mail.host=发送邮件服务器
腾讯企业邮箱的host是:smtp.exmail.qq.com 126邮箱的host是:smtp.126.com
163邮箱的host是:smtp.163.com mail.sender=XXXXXXXX@126.com mail.host=smtp.126.com
mail.user=XXXXXXXX@126.com mail.password=XXXXXXX2.配置邮件接收者:
在任务流Flow的最后一个.job中文件中添加如下内容
#任务执行失败发送邮件,多个接收邮件人之间用“,”分隔 failure.emails=AAAAAAA@126.com,BBBBB@163.com
#任务执行成功发送邮件 success.emails=AAAAA@126.com #任务执行完成,无论成功还是失败发送邮件
notify.emails=BBBBBBB@126.com