Introduzione all'elenco dei comandi di Hadoop FS
Hadoop funziona sul proprio file system che è distribuito in natura noto come "Hadoop distribuito file system HDFS " . Hadoop si affida allo storage distribuito e all'elaborazione parallela. Questo modo di archiviare il file in posizioni distribuite in un cluster è noto come file system distribuito Hadoop, ovvero HDFS. Per eseguire varie operazioni a livello di file, HDFS fornisce il proprio set di comandi noto come Comandi del file system Hadoop. Esploriamo quei comandi. In questo argomento, impareremo a conoscere il comando Hadoop FS.
Comandi di Hadoop FS
Qualsiasi comando HDFS ha il prefisso "hdfs dfs". Significa che stiamo specificando che il file system predefinito è HDFS. Esploriamo i comandi uno per uno
1. Versioni
Il comando version viene utilizzato per trovare la versione di Hadoop installata nel sistema.
Sintassi: Hadoop version
2. Comando ls
Il comando ls in Hadoop viene utilizzato per specificare l'elenco di directory nel percorso citato. Il comando ls prende il percorso hdfs come parametro e restituisce un elenco di directory presenti nel percorso.
Sintassi: hdfs dfs -ls
Esempio: hdfs dfs -ls / user / harsha
Possiamo anche usare -lsr per la modalità ricorsiva
Sintassi: hdfs dfs –lsr
3. Comando gatto
Il comando Cat viene utilizzato per visualizzare il contenuto del file sulla console. Questo comando prende il percorso del file hdfs come argomento e visualizza il contenuto del file.
Sintassi: hdfs dfs -cat
Esempio: hdfs dfs -cat /user/harsha/empnew.txt
4. comando mkdir
Il comando mkdir viene utilizzato per creare una nuova directory nel file system hdfs. Prende il percorso hdfs come argomento e crea una nuova directory nel percorso specificato.
Sintassi: hdfs dfs -mkdir
Esempio: hdfs dfs -mkdir / utente / esempio
Nella schermata sopra, viene mostrato chiaramente che stiamo creando una nuova directory chiamata "esempio" usando il comando mkdir e lo stesso viene mostrato usando il comando ls.
Anche per il comando mkdir, possiamo dare l'opzione '-p'. Crea directory principali nel percorso se mancano.
Esempio: hdfs dfs -mkdir -p / user / test / example2
Nello screenshot sopra, è abbastanza evidente che abbiamo l'opzione -p e nel percorso / utente / test / esempio2, vengono creati sia i test che le directory esempio2.
5. comando put
mettere il comando in HDFS viene utilizzato per copiare i file da una determinata posizione di origine nel percorso hdfs di destinazione. Qui la posizione di origine può essere un percorso del file system locale. Il comando put accetta due argomenti, il primo è il percorso della directory di origine e il secondo è il percorso HDFS di destinazione
Sintassi: hdfs dfs -put
Esempio: hdfs dfs -put /home/harsha/empnew.txt / user / test / example2
Nello screenshot sopra, possiamo vedere chiaramente che il file viene copiato dall'origine alla destinazione.
6. comando copyFromLocal
Il comando copyFromLocal in HDFS viene utilizzato per copiare i file dal percorso di origine al percorso di destinazione. L'origine in questo comando è limitata al file system locale
Sintassi: hdfs dfs -copyFromLocal /home/harsha/empnew.txt/user/harsha/example
Differenza tra comando put e comando copyFromLocal: non c'è molta differenza tra questi due comandi shell hdfs. Entrambi vengono utilizzati per copiare dal file system locale per indirizzare il percorso del file HDFS.
Ma il comando put è più utile e robusto in quanto consente di copiare più file o directory nella destinazione in HDFS
hdfs dfs -put
7. get Command
Il comando get in hdfs viene utilizzato per copiare un determinato file o directory hdfs nel percorso del file system locale di destinazione. Sono necessari due argomenti, uno è il percorso hdfs di origine e l'altro è il percorso del file system locale di destinazione
Sintassi: hdfs dfs -get
Esempio: hdfs dfs -get / user / test / example2 / home / harsha
8. comando copyToLocal
Il comando copyToLocal in hdfs viene utilizzato per copiare un file o una directory in hdfs nel file system locale. In questo comando, la destinazione è fissa sul file system locale. Questo comando copyFromLocal è simile al comando get.
Sintassi: hdfs dfs -copyToLocal
Esempio: hdfs dfs -copyToLocal / user / harsha / example / home / harsha
9. comando count
Il comando count in hdfs viene utilizzato per contare il numero di directory presenti nel percorso indicato. Il comando count accetta un determinato percorso come argomento e fornisce il numero di directory presenti in quel percorso.
Sintassi: hdfs dfs -count
Esempio: hdfs dfs -count / user
10. comando mv
Il comando mv in hdfs viene utilizzato per spostare un file tra hdfs. Il comando mv prende il file o la directory dal percorso hdfs di origine specificato e lo sposta nel percorso hdfs di destinazione.
Sintassi : hdfs dfs -mv
Esempio : hdfs dfs -mv / user / test / example2 / user / harsha
Nella schermata sopra, possiamo vedere che la directory example2 è ora presente in / user / harsha
11. comando setrep
Il comando setrep in hdfs viene utilizzato per modificare il fattore di replica del file specificato. Per impostazione predefinita, hdfs ha un fattore di replica di "3". Se il percorso specificato è una directory, questo comando modificherà il fattore di replica di tutti i file presenti in quella directory.
Sintassi: hdfs dfs -setrep (-R) (-w)
-w: questo flag specifica che il comando deve attendere il completamento della replica.
rappresentante: fattore di replicazione
Esempio: hdfs dfs -setrep -w 5 /user/harsha/empnew.txt
12. du command
Il comando du in hdfs mostra l'utilizzo del disco per il percorso hdfs indicato. Prende il percorso hdfs come input e restituisce l'utilizzo del disco in byte.
Sintassi : hdfs dfs -du
Esempio: hdfs dfs -du /user/harsha/empnew.txt
13. comando rm
Il comando rm in hdfs viene utilizzato per rimuovere file o directory nel percorso hdfs specificato. Questo comando prende il percorso hdfs come input e rimuove i file presenti in quel percorso.
Sintassi : hdfs dfs -rm
Esempio : hdfs dfs -rm / user / harsha / example
Conclusione - Comando Hadoop FS
Con la presente siamo venuti a conoscenza di vari comandi hdfs, anche delle rispettive sintassi con esempi. Dovremmo notare kick start qualsiasi comando hdfs, dobbiamo eseguire lo script bin / hdfs. hdfs è seguito da un'opzione nota come dfs, che indica che stiamo lavorando con il file system distribuito di Hadoop. Con l'aiuto dei comandi di cui sopra, possiamo negoziare con il file system HDFS.
Articoli consigliati
Questa è una guida al comando Hadoop FS. Qui discutiamo i comandi HDFS utilizzati più di frequente. Puoi anche leggere il seguente articolo per saperne di più -
- Architettura di Hadoop
- Framework HADOOP
- Installa Hadoop
- Strumenti di Hadoop
- Versioni del tableau
- Guida all'elenco dei comandi Unix Shell