Introduzione all'architettura del data warehouse
- Un data warehouse è un luogo di archiviazione contenente raccolte di diversi tipi di dati acquisiti da diversi tipi di fonti.
- L'intero processo in cui le fonti esterne di dati vengono acquisite, elaborate, archiviate e analizzate in informazioni utilizzabili avviene all'interno di un insieme di sistemi che sono unificati da un singolo schema noto come Data Warehouse Architecture.
Architettura del data warehouse
L'architettura del data warehouse comprende generalmente tre livelli.
- Livello superiore
- Livello intermedio
- Livello inferiore
Livello superiore
- Il livello superiore è costituito dal front-end lato client dell'architettura.
- Le informazioni applicate trasformate e logiche archiviate nel data warehouse verranno utilizzate e acquisite per scopi commerciali in questo livello.
- Sono disponibili numerosi strumenti per la generazione e l'analisi dei report per la generazione delle informazioni desiderate.
- Il data mining che è diventato una grande tendenza in questi giorni è fatto qui.
- Tutti i documenti di analisi dei requisiti, i costi e tutte le funzionalità che determinano un accordo commerciale basato sui profitti vengono eseguiti sulla base di questi strumenti che utilizzano le informazioni del data warehouse.
Livello intermedio
- Il livello intermedio è costituito dai server OLAP
- OLAP è Online Analytical Processing Server
- OLAP viene utilizzato per fornire informazioni agli analisti e ai dirigenti aziendali
- Poiché si trova nel livello intermedio, interagisce correttamente con le informazioni presenti nel livello inferiore e trasmette le informazioni dettagliate agli strumenti di livello superiore che elaborano le informazioni disponibili.
- Principalmente OLAP relazionale o multidimensionale viene utilizzato nell'architettura del data warehouse.
Livello inferiore
Il livello inferiore è costituito principalmente da origini dati, strumento ETL e data warehouse.
1. Fonti di dati
Le origini dati sono costituite dai dati sorgente acquisiti e forniti agli strumenti di gestione temporanea e ETL per ulteriori processi.
2. Strumenti ETL
- Gli strumenti ETL sono molto importanti perché aiutano a combinare Logic, Raw Data e Schema in uno e caricano le informazioni nel Data Warehouse o Data Mart.
- A volte, ETL carica i dati in Data Mart e quindi le informazioni vengono archiviate in Data Warehouse. Questo approccio è noto come approccio dal basso verso l'alto.
- L'approccio in cui ETL carica direttamente le informazioni nel data warehouse è noto come approccio top-down.
Differenza tra approccio top-down e approccio bottom-up
| Approccio dall 'alto verso il basso | Approccio dal basso |
| Fornisce una visione definita e coerente delle informazioni quando vengono utilizzate le informazioni dal data warehouse per creare Data Mart | I report possono essere generati facilmente quando i data mart vengono creati per primi ed è relativamente facile interagire con i data mart. |
| Modello forte e quindi preferito dalle grandi aziende | Non così forte ma è possibile estendere il data warehouse e creare il numero di data mart |
| Tempo, costi e manutenzione sono elevati | Tempo, costi e manutenzione sono bassi. |
Data Mart
- Data Mart è anche un componente di archiviazione utilizzato per archiviare i dati di una specifica funzione o parte correlata a una società da una singola autorità.
- Data mart raccoglie le informazioni da Data Warehouse e quindi possiamo dire che data mart memorizza il sottoinsieme di informazioni in Data Warehouse.
- I data mart sono flessibili e di piccole dimensioni.
3. Data warehouse
- Il data warehouse è il componente centrale dell'intera architettura del data warehouse.
- Funziona come un repository per archiviare informazioni.
- Grandi quantità di dati sono archiviate nel Data Warehouse.
- Queste informazioni sono utilizzate da diverse tecnologie come i Big Data che richiedono l'analisi di grandi sottoinsiemi di informazioni.
- Data Mart è anche un modello di Data Warehouse.
Diversi livelli di architettura del data warehouse
Esistono quattro diversi tipi di livelli che saranno sempre presenti in Data Warehouse Architecture.
1. Livello origine dati
- Il livello origine dati è il livello in cui vengono rilevati i dati dall'origine e successivamente inviati agli altri livelli per le operazioni desiderate.
- I dati possono essere di qualsiasi tipo.
- I dati di origine possono essere un database, un foglio di calcolo o qualsiasi altro tipo di file di testo.
- I dati di origine possono essere di qualsiasi formato. Non possiamo aspettarci di ottenere dati con lo stesso formato considerando che le fonti sono molto diverse.
- Nella vita reale, alcuni esempi di dati di origine possono essere
- File di registro di ogni specifica applicazione o lavoro o inserimento di datori di lavoro in un'azienda.
- Dati del sondaggio, dati di borsa, ecc.
- Dati del browser Web e molti altri.
2. Livello di gestione temporanea dei dati
I seguenti passaggi si svolgono nel livello di gestione temporanea dei dati.
1. Estrazione dei dati
I dati ricevuti dal livello di origine vengono inseriti nel livello di gestione temporanea in cui il primo processo che si svolge con i dati acquisiti è l'estrazione.
2. Database di sbarco
- I dati estratti vengono temporaneamente archiviati in un database di destinazione.
- Recupera i dati una volta estratti.
3. Area di stadiazione
- Vengono acquisiti i dati nel database di destinazione e vengono eseguiti numerosi controlli di qualità e operazioni di gestione temporanea nell'area di gestione temporanea.
- Vengono inoltre identificati la struttura e lo schema e vengono apportate modifiche ai dati non ordinati, cercando così di creare una comunanza tra i dati acquisiti.
- Avere un posto o impostare i dati prima della trasformazione e delle modifiche è un ulteriore vantaggio che rende molto importante il processo di gestione temporanea.
- Semplifica l'elaborazione dei dati.
4. ETL
- È un'estrazione, una trasformazione e un carico.
- Gli strumenti ETL vengono utilizzati per l'integrazione e l'elaborazione di dati in cui la logica viene applicata a dati piuttosto grezzi ma in qualche modo ordinati.
- Questi dati vengono estratti in base alla natura analitica richiesta e trasformati in dati ritenuti idonei a essere archiviati nel data warehouse.
- Dopo la trasformazione, i dati o piuttosto un'informazione vengono infine caricati nel data warehouse.
- Alcuni esempi di strumenti ETL sono Informatica, SSIS, ecc.
3. Livello di archiviazione dei dati
- I dati elaborati vengono archiviati nel data warehouse.
- Questi dati vengono ripuliti, trasformati e preparati con una struttura definita e quindi offrono ai datori di lavoro l'opportunità di utilizzare i dati richiesti dall'azienda.
- A seconda dell'approccio dell'architettura, i dati verranno archiviati in Data Warehouse e Data Mart. I Data Mart verranno discussi nelle fasi successive.
- Alcuni includono anche un archivio di dati operativi.
4. Livello presentazione dati
- Questo livello in cui gli utenti possono interagire con i dati archiviati nel data warehouse.
- Verranno utilizzate query e diversi strumenti per ottenere diversi tipi di informazioni in base ai dati.
- Le informazioni raggiungono l'utente attraverso la rappresentazione grafica dei dati.
- Gli strumenti di reporting vengono utilizzati per ottenere dati aziendali e la logica aziendale viene anche applicata per raccogliere diversi tipi di informazioni.
- Anche le informazioni sui metadati e le operazioni e le prestazioni del sistema sono mantenute e visualizzate in questo livello.
Conclusione
Un punto importante su Data Warehouse è la sua efficienza. Per creare un data warehouse efficiente, costruiamo un framework noto come Business Analysis Framework. Esistono quattro tipi di visualizzazioni per quanto riguarda la progettazione di un data warehouse.
1. Vista dall'alto verso il basso: questa vista consente di selezionare solo le informazioni specifiche necessarie per un data warehouse.
2. Vista dell'origine dati : questa vista mostra tutte le informazioni dall'origine dei dati a come vengono trasformate e archiviate.
3. Vista del data warehouse: questa vista mostra le informazioni presenti nel data warehouse tramite tabelle dei fatti e tabelle delle dimensioni.
4. Vista Query aziendale: questa è una vista che mostra i dati dal punto di vista dell'utente.
Articoli consigliati
Questa è stata una guida all'architettura del data warehouse. Qui abbiamo discusso i diversi tipi di viste, livelli e livelli di architettura del data warehouse. Puoi anche consultare i nostri altri articoli suggeriti per saperne di più -
- Carriera nel data warehouse
- Come funziona JavaScript
- Domande sul colloquio del data warehouse
- Cosa sono i panda