Introduzione alle domande e alle risposte dell'intervista di Apache PIG
Quindi hai finalmente trovato il lavoro dei tuoi sogni in Apache PIG ma ci stiamo chiedendo come risolvere l'intervista di Apache PIG del 2019 e quali potrebbero essere le probabili domande dell'intervista di Apache PIG. Ogni intervista di Apache PIG è diversa e anche l'ambito di un lavoro è diverso. Tenendo presente questo, abbiamo progettato le domande e le risposte più comuni per l'intervista ad Apache PIG per aiutarti a ottenere il successo nell'intervista con Apache PIG.
Di seguito è riportato l'elenco delle domande dell'intervista di Apache PIG del 2019 che vengono poste per lo più poste
1. Quali sono le differenze chiave tra MapReduce e Apache Pig?
Risposta:
Di seguito sono riportate le principali differenze tra Apache Pig e MapReduce a causa delle quali Apache Pig è entrato in scena:
• MapReduce è un modello di elaborazione dei dati di basso livello mentre Apache Pig è una piattaforma di flusso di dati di alto livello
• Senza scrivere le complesse implementazioni Java in MapReduce, i programmatori possono ottenere facilmente le stesse implementazioni usando Pig Latin.
• Apache Pig fornisce tipi di dati nidificati come borse, tuple e mappe in quanto mancanti da MapReduce.
• Pig supporta le operazioni sui dati come filtri, join, ordinamento, ordinamento ecc. Con molti operatori integrati. Considerare che svolgere la stessa funzione in MapReduce è un compito immenso.
2. Spiegare gli usi di MapReduce in Pig.
Risposta:
I programmi Apache Pig sono scritti in un linguaggio di query noto come Pig Latin, che è simile al linguaggio di query SQL. Per eseguire una query, è necessario un motore di esecuzione. E il motore Pig converte le query in lavori MapReduce e quindi MapReduce funge da motore di esecuzione ed è necessario per eseguire i programmi.
3. Spiega gli usi del maiale.
Risposta:
Possiamo usare il maiale in tre categorie, che sono:
• Pipeline di dati ETL: aiuta a popolare il nostro data warehouse. Pig può eseguire il pipeline dei dati su un'applicazione esterna, attenderà fino a quando non sarà terminato, in modo che abbia ricevuto i dati elaborati e continuerà da lì. È il caso d'uso più comune per il maiale.
• Ricerca su dati grezzi.
• Elaborazione iterativa.
4. Confronta Apache Pig e SQL.
Risposta:
• Apache Pig si differenzia da SQL per il suo utilizzo per ETL, valutazione pigra, archiviazione dei dati in qualsiasi momento della pipeline, supporto per suddivisioni della pipeline ed esplicita dichiarazione dei piani di esecuzione. SQL (Structural query language) è orientato attorno alle query che producono un singolo risultato. SQL non ha alcun meccanismo integrato per suddividere il flusso di elaborazione dei dati e applicare operatori diversi a ciascun flusso secondario.
• Apache Pig consente di includere il codice utente in qualsiasi punto della pipeline, mentre se SQL, dove devono essere utilizzati i dati, deve prima essere importato nel database e quindi inizia il processo di pulizia e trasformazione.
5. Spiegare i diversi tipi di dati complessi in Pig.
Risposta:
Apache Pig supporta tre tipi di dati complessi:
• Mappe: si tratta di archivi di valori chiave uniti insieme con #.
Esempio: ('city' # 'pune', 'pin' # 411045) • Tuple: proprio come la riga in una tabella, in cui diversi elementi sono separati da una virgola. Le tuple possono avere più attributi.
• Borse: una raccolta non ordinata di tuple. La borsa consente più tuple duplicate.
Esempio: (('Mumbai', 022), ('New Delhi', 011), ('Kolkata', 44))
6. Spiegare i diversi modelli di esecuzione disponibili in Pig.
Risposta:
Sono disponibili tre diverse modalità di esecuzione in Pig,
• Modalità interattiva o modalità Grunt.
Modalità interattiva o modalità grunt: la shell interattiva di Pig è nota come shell grunt. Se non viene specificato alcun file da eseguire in Pig, verrà avviato.
• Modalità batch o modalità script.
Pig esegue i comandi specificati nel file di script.
• Modalità integrata
Possiamo incorporare programmi Pig in Java e possiamo eseguire i programmi da Java.
7. Spiegare i piani di esecuzione (piano logico e fisico) di uno script di maiale
Risposta:
I piani logici e fisici vengono creati durante l'esecuzione di uno script di maiale. Gli script di maiale si basano sul controllo dell'interprete. Il piano logico è prodotto dal controllo semantico e dall'analisi di base e durante l'elaborazione di un piano logico non viene eseguita l'elaborazione dei dati. Per ogni riga dello script Pig, il controllo della sintassi viene eseguito per gli operatori e viene creato un piano logico. Ogni volta che si verifica un errore nello script, viene generata un'eccezione e l'esecuzione del programma termina, altrimenti per ogni istruzione nello script ha il proprio piano logico.
Un piano logico contiene la raccolta di operatori nello script ma non contiene i bordi tra gli operatori.
Dopo aver generato il piano logico, l'esecuzione dello script passa al piano fisico in cui è presente una descrizione degli operatori fisici, che Apache Pig utilizzerà, per eseguire lo script Pig. Un piano fisico è più o meno simile a una serie di lavori MapReduce ma il piano non ha alcun riferimento su come verrà eseguito in MapReduce. Durante la creazione di un piano fisico, l'operatore logico cogroup viene convertito in 3 operatori fisici, ovvero: Riorganizzazione locale, Riorganizzazione globale e Pacchetto. Le funzioni di caricamento e archiviazione di solito vengono risolte nel piano fisico.
8. Quali sono gli strumenti di debug utilizzati per gli script Apache Pig?
Risposta:
Descrivere e spiegare sono le utility di debug importanti in Apache Pig.
• Spiegare l'utilità è utile per gli sviluppatori Hadoop quando tentano di eseguire il debug degli errori o ottimizzare gli script PigLatin. spiegazione può essere applicata a un particolare alias nello script oppure può essere applicata all'intero script nella shell interattiva grunt. L'utilità spiega produce diversi grafici in formato testo che possono essere stampati su un file.
• Descrivere l'utilità di debug è utile per gli sviluppatori quando scrivono script Pig in quanto mostra lo schema di una relazione nello script. Per i principianti che stanno cercando di imparare Apache Pig possono utilizzare l'utilità di descrizione per capire come ogni operatore apporta modifiche ai dati. Uno script di maiale può avere più descrizioni.
9. Quali sono alcuni dei casi d'uso di Apache Pig a cui puoi pensare?
Risposta:
• Lo strumento Big Data di Apache Pig viene utilizzato in particolare per l'elaborazione iterativa, la ricerca di dati grezzi e per pipeline di dati ETL tradizionali. Poiché Pig può operare in circostanze in cui lo schema non è noto, incoerente o incompleto, è ampiamente utilizzato dai ricercatori che desiderano utilizzare i dati prima che vengano ripuliti e caricati nel data warehouse.
• Per creare modelli di previsione del comportamento, ad esempio, può essere utilizzato da un sito Web per tenere traccia della risposta dei visitatori a vari tipi di annunci, immagini, articoli, ecc.
10. Evidenziare la differenza tra operatori di gruppo e di gruppo di soggetti in Pig.
Risposta:
Entrambi gli operatori possono lavorare con una o più relazioni. Gli operatori di gruppo e di gruppo sono identici. L'operatore del gruppo raccoglie tutti i record con la stessa chiave. Cogroup è una combinazione di gruppo e join, è una generalizzazione di un gruppo invece di raccogliere i record di un input dipende da una chiave, raccoglie i record di n input basati su una chiave. Alla volta possiamo raggruppare fino a 127 relazioni.
Articoli consigliati
Questa è stata una guida all'elenco delle domande e risposte dell'intervista PIG Apache in modo che il candidato possa reprimere facilmente queste domande sull'intervista PIG Apache. Questo articolo è composto da tutte le utili domande e risposte sull'intervista di Apache PIG che ti aiuteranno in un'intervista. Puoi anche consultare i seguenti articoli per saperne di più -
- Apache Pig vs Apache Hive
- Le 10 domande più difficili per l'intervista
- 8 passaggi efficaci per preparare un'intervista interna
- Suggerimenti importanti per sopravvivere al colloquio (utile)