Documentos de Académico
Documentos de Profesional
Documentos de Cultura
(HDFS). La herramienta utiliza MapReduce para realizas dichas operaciones, por lo que
consigue aprovechar el entorno distribuido de nuestro cluster Hadoop obteniendo un
rendimiento óptimo.
sqoop help
sqoop list‐tables \
‐‐connect jdbc:mysql://<host>/<db> \
sqoop eval \
‐‐query "<query>" \
‐‐connect jdbc:mysql://<host>/<db> \
sqoop import‐all‐tables \
‐‐connect jdbc:mysql://<host>/<db> \
sqoop import‐all‐tables \
‐‐connect jdbc:mysql://<host>/<db> \
‐‐warehouse‐dir <hdfsdir>
Importar una única tabla:
‐‐connect jdbc:mysql://<host>/<db> \
‐‐connect jdbc:mysql://<host>/<db> \
‐‐columns "<col1>,<col2>,..,<colN>"
‐‐connect jdbc:mysql://<host>/<db> \
‐‐where "<conditions>"
Importar tabla a un directorio distinto:
‐‐connect jdbc:mysql://<host>/<db> \
‐‐target‐dir <dir>
‐‐connect jdbc:mysql://<host>/<db> \
‐‐fields‐terminated‐by "<symb>"
‐‐connect jdbc:mysql://<host>/<db> \
‐z
Importar tabla comprimida (formato Snappy):
‐‐connect jdbc:mysql://<host>/<db> \
‐‐compression‐codec org.apache.hadoop.io.compress.SnappyCodec
‐‐connect jdbc:mysql://<host>/<db> \
‐‐as‐parquetfile
‐‐connect jdbc:mysql://<host>/<db> \
‐‐as‐sequencefile
Importar tabla en formato Avro:
‐‐connect jdbc:mysql://<host>/<db> \
‐‐as‐avrodatafile
‐‐connect jdbc:mysql://<host>/<db> \
‐‐incremental append \
‐‐check‐column <column‐name> \
‐‐last‐value <value>
Importar tabla manejando valores nulos:
‐‐connect jdbc:mysql://<host>/<db> \
‐‐null‐string "\\N"
‐‐null‐non‐string "\\N"
sqoop import \
‐‐connect jdbc:mysql://<host>/<db> \
‐‐target‐dir <dir> \
‐‐split‐by <primarykey> \
‐‐query '<query>'
Sugerir paralelizar importación:
‐‐connect jdbc:mysql://<host>/<db> \
‐m <number>
‐‐connect jdbc:mysql://<host>/<db> \
‐‐export‐dir <dir> \
‐‐update‐mode <allowinsert|updateonly>
Exportar tabla a DB manejando valores nulos:
‐‐connect jdbc:mysql://<host>/<db> \
‐‐export‐dir <dir> \
‐‐update‐mode <allowinsert|updateonly> \
‐‐null‐string "\\N"
‐‐null‐non‐string "\\N"