Introduzione ai comandi Sqoop
Nei comandi Sqoop ogni riga viene trattata come record e le attività sono suddivise in attività secondarie dall'attività Mappa internamente. I database supportati da sqoop sono MYSQL, Oracle, IBM, PostgreSQL. Sqoop fornisce una semplice riga di comando, siamo in grado di recuperare i dati dal diverso database tramite comandi sqoop. Sono scritti in Java e utilizzano JDBC per la connessione ad altri database.
Sta per 'SQL to Hadoop' e Hadoop to SQL e uno strumento open source. Si tratta di uno strumento di connettività applicativa che trasferisce dati in blocco tra il sistema di database relazionale e Hadoop (Hive, riduzione mappa, Mahout, Pig, HBase). Consentono agli utenti di specificare la posizione di destinazione all'interno di Hadoop e rendono sqoop per spostare i dati da RDMS a destinazione. Forniscono connettori MySQL ottimizzati che utilizzano API specifiche del database per eseguire trasferimenti in blocco completamente. L'utente importa i dati da fonti esterne come Hive o Hbase. Sqoop ha due formati di file: formato di file di testo delimitato e formato di file di sequenza.
Ecco i comandi di base dei comandi Sqoop:
-
Tabella elenco:
Questo comando elenca la tabella particolare del database nel server MYSQL.
Esempio:
-
Directory di destinazione:
Questo comando importa la tabella in una directory specifica in HDFS. -m indica l'argomento mapper. Hanno un valore intero.
Esempio:
-
Protezione della password:
Esempio:
-
Sqoop-eval:
Questo comando esegue rapidamente query SQL del rispettivo database.
Esempio:
-
sqoop - versione:
Questo comando visualizza la versione di sqoop.
Esempio:
-
Sqoop-job
Questo comando ci consente di creare un lavoro, i parametri che possono essere creati possono essere invocati in qualsiasi momento. Prendono opzioni come (–create, –delete, –show, –exit).
Esempio:
-
Caricamento file CSV su SQL:
Esempio:
-
Connettore:
Esempio:
-
codice gen:
Questo comando Sqoop crea file di classe java che incapsulano i record importati. Tutti i file java vengono ricreati e vengono generate nuove versioni di una classe. Generano codice per interagire con i record del database. Recupera un elenco di tutte le colonne e i relativi tipi di dati.
Esempio:
10.List-database:
Questo elenco di comandi Sqoop ha tutto il database disponibile nel server RDBMS.
esempio:
Comandi intermedi dei comandi Sqoop:
1.sqoop -meta store:
Questo comando ospita un repository di metadati condiviso. Gli utenti multipli / remoti possono eseguire diversi lavori.
Comando:
$ sqoop .metastore.client.autoconnect.url
esempio: jdbc: hsqldb: hsql: // metastore .example.com / sqoop
2. sqoop -help:
Questo comando elenca gli strumenti disponibili in sqoop e il loro scopo.
Comando:
$ sqoop help
$ bin / sqoop aiuta l'importazione
3. Esportazione:
Questo comando esporta i dati da HDFS al database RDMS. In HDFS i dati sono archiviati come record.
Comando:
$ sqoop export \ –connect jdbc: mysql: // localhost / inventario - nome utente jony –table lib –export -dir / user / jony / inventario.
4. Inserisci:
Questo comando inserisce un nuovo record da HDFS alla tabella RDBMS.
Comando
$ sqoop export –connect JDBC: MySQL: // localhost / sqoop_export - tabella emp_exported –export -dir / sqoop / newemp -m -000
5. Aggiornamento:
Questo comando Sqoop aggiorna i record nel RDBMS dai dati HDFS.
Comando
$ sqoop export –connect JDBC: MySQL: // localhost / sqoop_export - tabella emp_exported –export -dir / sqoop / newemp -m -000 –update -key id
6. Opzione batch:
Questo comando inserisce più righe insieme, ottimizzano la velocità di inserimento utilizzando il driver JDBC Sqoop.
Comando
$ sqoop export \ -connect JDBC: MySQL: // hostname / –username -password -export -dir
7. Split:
Quando viene utilizzato questo comando, la clausola where viene applicata all'intero SQL.
Comando
$ sqoop import -D mysql: // jdbc: // where.clause.location = SPLIT –table JUNK –where “rownum <= 12”
8. File AVRO in HDFS:
Memorizzano i dati RDBMS come file Avro.
Comando
$ sqoop import –connect JDBC: MySQL: // localhost / Acadgild –username root –password pp.34 –table payment -m1 –target -dir / sqoop_data / payment / avro / == as -avrodatfile.
Comandi avanzati dei comandi Sqoop:
Comandi di importazione:
I comandi di importazione hanno argomenti di controllo di importazione. i vari argomenti sono i seguenti:
- limite: usato per creare divisioni.
- as - file di testo: importa i dati di testo semplice
- -columns (: importa colonne per tabella
- -m, - num: per importare attività di mappatura parallela
- diviso per: divide la colonna della tabella
- -z, - compress: la compressione dei dati è abilitata.
Argomenti di importazione incrementali:
- check - column: indica le colonne per determinare quali righe importare.
- incrementale (modalità): indica nuove righe (include append e l'ultima modifica delle righe)
Argomenti della linea di uscita:
- righe -terminated -by: impostano il carattere eol
- MySQL - delimitatori: impostano \ n campi: linee:
Importa in Hive
-hive - import: importano le tabelle in hive
-hive - chiave-partizione: il nome della partizione è condiviso.
-hive - overwrite: sovrascrivono i dati nella tabella esistente.
Importa in argomenti Hbase:
-accumulo-table: specifica la tabella di destinazione in HBase.
-accumulo -column: per importarlo imposta la colonna target.
-accumulo -: per importare il nome dell'accumulo
–Accumulo -: per importare la password dell'accumulo
Archiviazione in file sequenza:
$ sqoop import -connect jdbc: mysql: //db.foo.com/emp -table inventario \ - class-name com.foo.com.Inventory -as - sequencefile
Importazione query:
Questo comando specifica l'istruzione Sql con l'argomento -query.
$ sqoop import \ –query 'SELEZIONA a. *, b. * da un JOIN b su (a.id = b.id) dove $ condizioni' \ -split - da / target-dir / user
Esportazioni incrementali:
$ sqoop export –connect –table –username –password –incremental –check-row –last-value
Importazione di tutte le tabelle in HDFS:
$ sqoop import -all - tables –connect jdbc: mysql: // localhost / sale_db - nome utente root.
Importazione di dati su Hive:
$ sqoop import –connect –table –username –password –hive -import - hive -table
Importare dati su HBase:
comando:
$ sqoop import –connect –table –username –password –hive -import - HBase -table
Codifica valori null:
comando:
$ mysql import \ –connect JDBC: MySQL: //mysql.ex.com/sqoop \ –nomeutente sqoop \ -password sqoop \ –table lib \ –null -string '
Suggerimenti e trucchi per usare i comandi Sqoop:
Se vogliamo eseguire le operazioni sui dati in modo efficace, allora dobbiamo usare sqoop, solo attraverso una singola riga di comando possiamo eseguire molte attività e sottoattività. Sqoop si collega a diversi database relazionali tramite connettori, utilizzano il driver JDBC per interagire con esso. Poiché sqoop viene eseguito sulla propria fonte, possiamo eseguire sqoop senza un processo di installazione. L'esecuzione di sqoop è facile come perché esegue i dati in parallelo. Utilizzando Map ridurre possiamo importare ed esportare dati, che a loro volta forniscono un'esecuzione parallela.
Conclusione - Comandi Sqoop:
Per concludere, i comandi Sqoop regolano il processo di importazione ed esportazione dei dati. Sqoop offre la possibilità di aggiornare le parti della tabella in base al carico incrementale. L'importazione dei dati in sqoop non è guidata dagli eventi. E arriva sqoop2 con la GUI abilitata per un facile accesso insieme alla riga di comando. Il trasferimento dei dati è veloce in quanto trasferiscono in parallelo. Giocano un ruolo vitale nell'ambiente di Hadoop. Fanno il loro lavoro da soli, non necessario durante l'importazione di piccoli set di dati.
Articoli consigliati
Questa è stata una guida ai comandi Sqoop. Qui abbiamo discusso i comandi Sqoop di base e avanzati e alcuni comandi Sqoop immediati. Puoi anche leggere il seguente articolo per saperne di più -
- Domande e risposte di intervista di Sqoop
- Cheat sheet SQL (comandi, suggerimenti gratuiti e trucchi)
- Comandi VBA importanti
- Comandi del tableau