XiaodunLP 于 2019-02-05 13:59:16 发布
本文详细介绍了Sqoop的常用命令，包括数据导入、导出以及验证步骤。例如，`sqoop export`用于将数据导出到数据库，`sqoop import`则用于从数据库导入数据，并提供了`--validate`选项进行数据校验。同时，文章还讨论了数据校验的阈值、失败处理策略以及 Sqoop 作业的创建和执行。此外，还提到了其他辅助工具如`sqoop-metastore`和各种参数选项，如压缩、分隔符配置等。 这些内容是从 sqoop的官网整理出来的，是1.4.3版本的Document，如果有错误，希望大家指正。
1.使用sqoop导入数据
sqoop import --connect jdbc:mysql://localhost/db --username foo --table TEST
2.账号密码
sqoop import --connect jdbc:mysql://database.example.com/employees \ --username aaron --password 123451
3.驱动
sqoop import --driver com.microsoft.jdbc.sqlserver.SQLServerDriver \ --connect <connect-string> ...1
4.写sql语句导入的方式
sqoop import \ --query 'SELECT a.*, b.* FROM a JOIN b on (a.id == b.id) WHERE $CONDITIONS' \ --split-by a.id --target-dir /user/foo/joinresults12
如果是顺序导入的话，可以只开一个线程
sqoop import \ --query 'SELECT a.*, b.* FROM a JOIN b on (a.id == b.id) WHERE $CONDITIONS' \ -m 1 --target-dir /user/foo/joinresults12
如果where语句中有要用单引号的，就像这样子写就可以啦"SELECT * FROM x WHERE a='foo' AND \$CONDITIONS"
5. 1.4.3版本的sqoop不支持复杂的sql语句，不支持or语句
6. --split-by <column-name>
默认是主键，假设有100行数据，它会执行那个SELECT * FROM sometable WHERE id >= lo AND id < hi, with (lo, hi) 会分为4次导入（0,250），（250,500），(500,750),(750,1001)
如果这个字段不能达到实际的划分区域的效果，可以用别的字段。如果没有索引列或者是组合主键的表，需要手动设置一个划分列。
7. --direct 是为了利用某些数据库本身提供的快速导入导出数据的工具，比如mysql的mysqldump性能比jdbc更好，但是不知大对象的列，使用的时候，那些快速导入的工具的客户端必须的shell脚本的目录下。
8.导入数据到hdfs目录，这个命令会把数据写到/shared/foo/ 目录。
sqoop import --connnect <connect-str> --table foo --warehouse-dir /shared \
或者
sqoop import --connnect <connect-str> --table foo --target-dir /dest \
9.传递参数给快速导入的工具，使用--开头，下面这句命令传递给mysql默认的字符集是latin1。
sqoop import --connect jdbc:mysql://server.foo.com/db --table bar \ --direct -- --default-character-set=latin11
10.转换为对象
--map-column-java <mapping> 转换为java数据类型
--map-column-hive <mapping> 转转为hive数据类型
11.增加导入
--check-column (col) Specifies the column to be examined when determining which rows to import.
--incremental (mode) Specifies how Sqoop determines which rows are new. Legal values for mode include append and lastmodified.
--last-value (value) Specifies the maximum value of the check column from the previous import.
增加导入支持两种模式append和lastmodified，用--incremental来指定。
12.导入大对象，比如BLOB和CLOB列时需要特殊处理，小于16MB的大对象可以和别的数据一起存储，超过这个值就存储在_lobs的子目录当中。
它们采用的是为大对象做过优化的存储格式，最大能存储2^63字节的数据，我们可以用--inline-lob-limit参数来指定每个lob文件最大的限制是多少。如果设置为0，则大对象使用外
