Strumenti Talend - Vari strumenti o componenti di Talend per l'integrazione dei dati

Introduzione a Talend Tools

Talend open studio ha più di 700 componenti in aree come big data, database, cloud, ecc. Talend open studio può essere diviso in molti come Talend open studio per l'integrazione dei dati e Talend open studio per i big data, ecc. In questo articolo, vedremo i diversi strumenti di talend in dettaglio.

Talend Open Studio Componenti / strumenti

Talend Open Studio for Data Integration copre le seguenti aree / tecnologie con alcuni componenti integrati che facilitano l'elaborazione.

Componenti di Big Data
Componenti aziendali
Componenti di Business Intelligence
Componenti cloud
Componenti del codice personalizzato
Componenti di qualità dei dati
Database: componenti tradizionali
Database: componenti dell'appliance / data warehouse
Database - altri componenti
Componenti DotNET
Componenti ELT
Componenti ESB
Componenti del file
Componenti Internet
Registri ed errori componenti
Componenti di vari gruppi
Componenti dell'orchestrazione
Componenti di elaborazione
Componenti del sistema
Componenti Talend MDM
Componenti tecnici
Componenti XML

Qui discuteremo alcuni componenti di Talend Open Studio per l'integrazione dei dati.

1. tS3Connection: questo componente viene utilizzato per la connessione con Amazon S3. I componenti possono utilizzare questa connessione per una facile configurazione della connessione ad Amazon S3.

2. Ingresso tS3: utilizzato per leggere un file dal file system S3. Ha alcune funzioni simili a tfileinputdelimited ma utilizza il servizio Amazon Simple Storage.

3. Uscita tS3: utilizzata per scrivere i dati in un file system S3. Ha alcune funzioni simili a tfileoutputdelimited ma utilizza il servizio Amazon Simple Storage.

4. ts3Put: utilizzato per inserire un file in un file system S3 da un sistema locale.

5. ts3Get: questo componente viene utilizzato per recuperare un file da S3 in un sistema locale.

6. tS3BucketCreate: questo componente viene utilizzato per creare un bucket su S3.

7. tS3BucketDelete: questo componente viene utilizzato per eliminare un bucket su S3.

8. tS3BucketExist: questo componente viene utilizzato per verificare se il bucket specificato esiste su S3. Restituisce il risultato in valore booleano vero o falso che può essere utilizzato come mappa globale.

9. tS3BucketList: questo componente viene utilizzato per elencare tutti i bucket su S3.

10. tS3Copy: questo componente viene utilizzato per copiare l'oggetto S3 da un bucket a un altro bucket. È simile a tFileCopy.

11. tS3Delete: questo componente viene utilizzato per eliminare l'oggetto S3 da un bucket. È simile a tFileDelete.

12. tS3Close: questo componente viene utilizzato per chiudere la connessione S3 creata utilizzando tS3Connection.

13. tCreateTemporaryFile: questo componente crea un file temporaneo come tFileOutputDelimited ma questo file temporaneo può essere eliminato automaticamente al termine del lavoro oppure può essere conservato.

14. tFileArchive: questo componente viene utilizzato per creare un file compresso da uno o più file. La crittografia può anche essere applicata in compressione.

15. tFileCompare: questo componente viene utilizzato per confrontare due file e restituisce i dati di confronto.

16. tFileUnarchive: questo componente viene utilizzato per decomprimere un file zippato.

17. tFileCopy: questo componente viene utilizzato per copiare un file o una cartella in una directory di destinazione.

18. tFileDelete: questo componente viene utilizzato per eliminare un file o una cartella.

19. tFileExist: questo componente viene utilizzato per verificare l'esistenza o meno di un file. Restituisce il risultato in valore booleano vero o falso che può essere utilizzato come globalMap.

20. tFileInputExcel: questo componente viene utilizzato per leggere un file Excel basato sullo schema definito.

21. tMsgBox: questo componente viene utilizzato per visualizzare una finestra di dialogo con un pulsante OK.

22. tRowGenerator: questo componente viene utilizzato per creare un numero qualsiasi di righe con colonne con valori specifici o valori casuali. Viene utilizzato principalmente a scopo di test e creazione di file di test di esempio.

23. tIterateToFlow: è usato per trasformare un elenco di flussi nel flusso principale che significa iterare-> riga-> principale.

24. tFlowToIterate: viene utilizzato per trasformare il flusso principale in un elenco di flussi che significa iterazione principale-> riga->.

25. tLoop: viene utilizzato per eseguire un ciclo in particolare di un'attività.

26. tReplicate: viene utilizzato per replicare lo schema in entrata in due flussi di output.

27. tRunJob: viene utilizzato per eseguire un altro lavoro Talend all'interno del lavoro corrente dopo il subjob ok.

28. tSleep: viene utilizzato per mettere in pausa l'esecuzione del lavoro o una particolare interruzione del processo secondario per un determinato periodo di tempo in secondi.

29. tWaitForFile: esaminerà una directory particolare e attiverà il componente successivo in base alla condizione.

30.tMysqlBulkExec: questo componente viene utilizzato per offrire guadagni in termini di prestazioni durante l'esecuzione delle operazioni di inserimento su un database Mysql.

31. tMysqlClose: questo componente viene utilizzato per chiudere la connessione mysql creata da tMysqlConnection.

32. tMysqlRow: questo componente viene utilizzato per eseguire direttamente la query SQL sul database MySQL.

33. tMysqlTableList: questo componente viene utilizzato per elencare i nomi di una tabella.

34. tMysqlColumnList: questo componente viene utilizzato per iterare tutte le colonne di una tabella.

35. tMysqlCommit: questo componente viene utilizzato per eseguire il commit delle modifiche apportate al database Mysql.

36. tMysqlLastInsertId: questo componente viene utilizzato per ottenere l'ultimo valore chiave inserito

37. tMysqlOutputBulk: questo componente viene utilizzato per scrivere un file con colonne basato sul delimitatore

38. tMysqlOutputBulkExec: questo componente viene utilizzato per scrivere un file con colonne basato sul delimitatore e quindi esegue il file nel database Mysql.

39. tContextLoad: questo componente viene utilizzato per caricare valori nel contesto da un flusso di input. Le variabili di contesto devono essere create prima di caricare i valori in variabili di contesto. Se le variabili di contesto non vengono create, verrà visualizzato un avviso.

40. tHiveClose: questo componente viene utilizzato per chiudere la connessione creata utilizzando tHiveConnection.

41. tHiveConnection: questo componente viene utilizzato per creare una connessione Hive e può essere riutilizzato da altri componenti Hive.

42. tHiveRow: questo componente viene utilizzato per eseguire direttamente le query Hive.

Conclusione

I componenti HDFS possono essere visualizzati in Talend open studio per Big Data.
thdfsinput, thdfsoutput sono alcuni dei componenti e sono simili ai componenti del file.
tHDFSInput - Legge il file che si trova su un determinato file system distribuito Hadoop (HDFS). Ha alcune funzioni simili a tfileinputdelimited ma utilizza un file system distribuito Hadoop.
tHDFSOutput: scrive i file nel file system distribuito Hadoop (HDFS).
Ha alcune funzioni simili a tfileoutputdelimited ma utilizza un file system distribuito Hadoop.
tHDFSPut: viene utilizzato per inserire un file nel file system HDFS da un sistema locale.
tHDFSGet: questo componente utilizzato per recuperare un file da HDFS in un sistema locale.

Articoli consigliati

Questa è una guida a Talend Tools. Qui discutiamo dell'introduzione e del talento di open studio componenti o strumenti per l'integrazione dei dati che includono, tS3Connection, tS3Input, tS3Output e ts3Put, ecc. Puoi anche leggere i seguenti articoli per saperne di più -