大数据Sqoop系列之Sqoop导入导出数据

一、Sqoop介绍

*
Sqoop是一个用来将关系型数据库和Hadoop中的数据进行相互转移的工具，可以将一个关系型数据库(例如Mysql、Oracle)中的数据导入到Hadoop(例如HDFS、Hive、Hbase)中，也可以将Hadoop(例如HDFS、Hive、Hbase)中的数据导入到关系型数据库(例如Mysql、Oracle)中。


* Sqoop工具接收到客户端的shell命令或者Java api命令后，通过Sqoop中的任务翻译器(Task
Translator)将命令转换为对应的MapReduce任务，而后将关系型数据库和Hadoop中的数据进行相互转移，进而完成数据的拷贝。


二、导入数据 

1.  参数说明
​## 链接MySQL数据库url --connect jdbc:mysql://127.0.0.1:3306/test_db ##
链接MySQL数据库用户名 --username root ## 链接MySQL数据库密码 --password 123456 ##
链接MySQL数据库中的表 --table tb1 ## 设置map的个数 --num-mappers 1 ## 设置导入到hdfs文件所在的位置
--target-dir /datas/sqoop/input ## 设置导入到hdfs文件前先删除已经存在的目录 --delete-target-dir
## 设置导入到hdfs文件的分隔符 --fields-teminated-by ',' ## 设置增量导入到hdfs上的检查列 --check-column
id ## 设置增量导入到hdfs上的追加方式 --incremental append ## 设置增量导入到hdfs上的开始位置 --last-value
4 ## 设置增量导入到hdfs上的文件存储格式 --as-parquetfile ## 指定hive中的数据库 --hive-database
test_db ## 设置操作类型 --hive-import ## 指定hive中的表 --hive-table tb1 ##
备注：delete-target-dir和incremental append不能同时使用
2.  Sqoop获取MySQL的所有数据库
sqoop list-databases \ --connect jdbc:mysql://127.0.0.1:3306 \ --username root
\ --password 123456;
3.  Sqoop从MySQL导入数据到HDFS
sqoop import \ --connect jdbc:mysql://127.0.0.1:3306/test_db \ --username root
\ --password 123456 \ --table tb1 \ --num-mappers 1 \ --target-dir
/datas/sqoop/input \ --delete-target-dir;
4.  Sqoop从MySQL导入数据到Hive
sqoop import \ --connect jdbc:mysql://127.0.0.1:3306/test \ --username root \
--password 123456 \ --table tb1 \ --num-mappers 1 \ --fields-terminated-by ','
\ --delete-target-dir \ --hive-database test \ --hive-import \ --hive-table tb1;
三、导出数据

1.  参数说明
## 链接MySQL数据库url --connect jdbc:mysql://127.0.0.1:3306/test_db ##
链接MySQL数据库用户名 --username root ## 链接MySQL数据库密码 --password 123456 ##
链接MySQL数据库中的表 --table tb1 ## 设置map的个数 --num-mappers 1 ## 设置hdfs文件导出的分隔符
--fields-terminated-by ',' ## 设置hdfs文件所在的位置 --export-dir
/user/hive/warehouse/test_db.db/tb1
2.  Sqoop从Hive导出数据到MySQL
sqoop export \ --connect jdbc:mysql://127.0.0.1:3306/test_db \ --username root
\ --password 123456 \ --table tb1 \ --num-mappers 1 \ --fields-terminated-by
',' \ --export-dir /user/hive/warehouse/test_db.db/tb1;

• « 上一篇：protege 5.0 教程
• » 下一篇：react jsx 中的map 循环嵌套