Carriera in Hadoop - Introduzione
Hadoop non è un semplice framework nel mondo dei Big Data. Ha un vasto ecosistema con un ombrello di tecnologie correlate. Per lo stesso motivo, una carriera in Hadoop è promettente. Se hai una buona conoscenza dei fondamenti di Hadoop, sarà una base per una grande carriera in Hadoop.
Istruzione alla carriera in Hadoop
Come molte tecnologie di dati emergenti, Hadoop non richiede alcun background educativo specifico in quanto tale. Circa la metà degli sviluppatori di Hadoop proviene da ambienti non informatici come Statistica o Fisica. Quindi è chiaro che lo sfondo non è un ostacolo per entrare nel mondo di Hadoop a condizione che tu sia pronto per imparare i fondamenti. Ci sono buoni corsi online su Hadoop - quello di eduCBA è l'esempio migliore - master-apache-Hadoop
Inoltre, se si desidera approfondire un'area specifica della gestione dei cluster Hadoop o la modellazione dei dati nei materiali Hive su ciascun argomento specifico disponibile come corsi online e libri di testo. Il più delle volte i cluster Hadoop verranno configurati in un fornitore cloud come AWS o Azure. Quindi familiarizzare con qualsiasi fornitore di cloud di tua scelta ti aiuterà molto. Il servizio Hadoop di AWS si chiama EMR.
La specializzazione popolare include:
- Spark - Motore di elaborazione dati in memoria scalabile
- HBase - Nessun database SQL su HDFS
- Beam - Streaming elaborazione dati primo approccio
- Pig - Script di trasformazione dei dati (ETL)
- Hive - Data warehousing
- Mahout, Spark MLlib - Apprendimento automatico scalabile su Hadoop
- Apache Drill - Motore SQL su Hadoop
- Flume, Sqoop - Servizi di acquisizione dati
- Solr & Lucene - Ricerca e indicizzazione
Percorso di carriera in Hadoop
Secondo i risultati dello Stack Overflow Survey 2017, Hadoop è leader nel framework più popolare e più amato nello spazio dei Big Data (Survey Link). Questo è possibile solo perché persone da diverse prospettive IT hanno trovato Hadoop un potenziale percorso di carriera e vogliono cambiare.
Qualunque sia il tuo ruolo attuale ruolo IT, ci sarà un passaggio facilmente adattabile a una carriera nel mondo Hadoop. Alcuni esempi popolari -
- Software Developer (Programmer) -> Hadoop Data Developer che si occupa di diversi SDK di astrazione Hadoop e ricava valore dai dati.
- Analista di dati -> Quindi sei esperto in SQL. Grande opportunità in Hadoop di lavorare su motori SQL come Hive o Impala
- Analista aziendale -> Le organizzazioni che cercano di diventare più redditizie utilizzando dati raccolti in modo massiccio, e il ruolo di un analista aziendale è cruciale in questo.
- Sviluppatore ETL -> Se lavori come uno sviluppatore ETL tradizionale, puoi facilmente passare a ETL Hadoop usando strumenti come Spark.
- Tester -> Esiste una grande richiesta di tester nel mondo Hadoop. Comprendendo i fondamenti di Hadoop e la profilazione dei dati, qualsiasi tester può passare a questo ruolo.
- Professioni BI / DW -> Può facilmente passare da Hadoop Data architecting a Data modelling.
- Professionisti IT senior -> Con una profonda conoscenza del dominio e delle sfide esistenti nel mondo dei dati, un professionista senior può diventare consulenti acquisendo conoscenza di come Hadoop cerca di risolvere queste sfide.
- Esistono ruoli generici come Data Engineer o Big Data Engineering, che è responsabile dell'implementazione della soluzione principalmente sui fornitori di cloud. Acquisendo conoscenza dei componenti di dati del cloud, questo sarà un ruolo promettente.
Posizioni Di Lavoro
L'ecosistema Hadoop offre una varietà di percorsi di carriera
- Sviluppatore MapReduce - Fondamentalmente un ruolo di sviluppatore Java che comprende anche il funzionamento interno dei sistemi Hadoop. C'è un'astrazione come Hive o Pig ancora disponibili per i sistemi ad alte prestazioni sono necessari lavori MapReduce. Gli sviluppatori di MapReduce sono colui che comprende un sistema in entrata e in uscita e ha pagato molto.
- Amministratori Hadoop - Queste sono le persone responsabili di mantenere sano e performante il cluster Hadoop. Ciò può includere attività tipiche dell'amministratore come controlli regolari dello stato del sistema, ma la maggior parte delle attività necessarie per comprendere l'architettura del sistema Hadoop.
- Devops - Distribuisci nuovi componenti di sistema e altre modifiche relative allo sviluppo nel cluster Hadoop. La responsabilità di questo ruolo varia molto e dipende dalla cultura di un'organizzazione.
- Sviluppatore di dati: elaborazione dei dati su Hadoop. Questo è uno dei ruoli più popolari nell'ecosistema Hadoop. Le persone provenienti da background SQL o di analisi si adattano meglio a questi ruoli. Principalmente lavora su un'astrazione di alto livello di Hadoop come Hive o Pig.
- Amministratore della sicurezza dei dati - I dati sono le risorse più preziose e proteggerle è molto importante. Gli amministratori della sicurezza assicurano politiche e best practice standard del settore per proteggere i dati, con una comprensione limitata di un sistema
- Visualizzatore dati: gestisci gli strumenti di visualizzazione di prossima generazione che consentono il suddivisione e l'aggregazione dinamica dei dati con la memorizzazione nella cache dei dati in memoria
- Sviluppatore ETL - Trasforma i dati per il miglioramento della qualità dei dati o secondo la logica aziendale utilizzando gli strumenti dell'ecosistema Hadoop. Il processo ETL potrebbe essere in streaming o batch.
- System Architect - Progetta sistemi ad alte prestazioni che tengano conto della disponibilità e della durata dei dati in modo conveniente. Dipende fortemente dal fornitore dell'hardware.
- Data Architect - Oltre alla tradizionale progettazione logica / fisica dei dati, molte cose come la codifica delle colonne, la denormalizzazione, la progettazione del partizionamento ecc. Saranno responsabilità dell'architetto dei dati.
Corsi consigliati
- Formazione XML e Java online
- Corsi Node.JS
- Corso di formazione Silverlight
- Programma Ember.JS
Stipendio
Uno stipendio medio di uno sviluppatore di software negli Stati Uniti è di $ 90.956 all'anno mentre lo stipendio medio dello sviluppatore di Hadoop è molto più alto - $ 118.234 all'anno (Secondo Indeed.com - indeed.com)
Stipendi dello sviluppatore Hadoop nelle migliori aziende negli Stati Uniti (Rif: indeed.com)
| Mela | $ 147.573 all'anno |
| Wipro | $ 110.553 all'anno |
| HERO.jobs | $ 158.715 all'anno |
| MBCAA | $ 133.422 all'anno |
| Ventures Unlimited Inc | $ 130.000 all'anno |
| Nityo Infotech Services Pvt. Ltd. | $ 128.633 all'anno |
| STELLA DEL NORD | $ 126.370 all'anno |
| Tecnologia PRI | $ 121.396 all'anno |
| NITYO INFOTECH | $ 116, 909 all'anno |
| HortonWorks, Inc | $ 110.710 all'anno |
Prospettiva Di Carriera
L'ecosistema Hadoop si sta diversificando molto per soddisfare un cambiamento nelle esigenze aziendali. Poiché i dati generati stanno aumentando in modo esponenziale e sempre più organizzazioni diventano guidate dai dati, la pertinenza del sistema Hadoop non farà che aumentare.
Alcune delle tendenze notevoli:
- Passa dall'elaborazione batch allo streaming del primo approccio all'elaborazione dei dati utilizzando Spark e Beam
- Più modello di apprendimento automatico in tempo reale applicato ai dati in tempo reale utilizzando Spark ML
- Motori SQL disaccoppiati dall'archiviazione dei dati come Presto su S3 per analisi ad hoc su data lake.
- Database MPP colonnari come AWS Redshift per un rapido accesso ai dati
Poiché un aspetto fondamentale dell'elaborazione dei Big Data risiede nei sistemi distribuiti e scalabili orizzontalmente tolleranti ai guasti, che è ben implementato da Hadoop, Hadoop continuerà come un ecosistema leader per l'elaborazione dei dati.
Articolo raccomandato
Questa è stata una guida alla carriera in Hadoop. Qui abbiamo discusso di Introduzione, Istruzione, Percorso di carriera in Hadoop, Retribuzione e prospettive di carriera in Hadoop. puoi anche leggere il seguente articolo per saperne di più -
- Azure Paas vs Iaas e i loro utili vantaggi
- Scopri le differenze tra Java vs Node JS
- I migliori consigli degli esperti sulle carriere nel mainframe
- Carriere in SQL
- Carriere utili come ingegnere del software
- Amministratore di Hadoop | Competenze e percorso di carriera