Introduzione a PySpark SQL
Alcuni programmatori principianti non sarebbero a conoscenza di PySpark SQL. Prima di passare attraverso PySpark SQL, dovremmo avere un'idea di cosa sia Spark SQL. Cominciamo con Spark SQL, è un modulo di Apache Spark. Spark SQL funzionava con dati strutturati. PySpark SQL è stato sviluppato per supportare Python in Spark.
PySpark SQL è la collaborazione di Python con Spark SQL. Utilizzato principalmente nel trattamento di dati strutturati e semi-strutturati. L'API fornita da essa può leggere dati da un gran numero di fonti e queste fonti di dati possono essere in diversi formati di dati.
Che cos'è PySpark SQL?
È uno strumento per supportare Python con Spark SQL. È stato sviluppato per supportare Python in Spark. Per una corretta comprensione di PySpark, è richiesta la conoscenza di Python, Big Data e Spark. PySpark SQL sta lentamente guadagnando popolarità nei programmatori di database grazie alle sue importanti funzionalità.
PySpark SQL funziona sul sistema distribuito ed è anche scalabile per questo motivo è ampiamente utilizzato nella scienza dei dati. In PySpark l'apprendimento automatico di SQL è fornito dalla libreria python. Questa libreria Python è nota come libreria di apprendimento automatico.
Caratteristiche di PySpark SQL
Di seguito sono riportate alcune delle funzionalità importanti di PySpark SQL:
- Velocità: è molto più veloce rispetto ai tradizionali framework di elaborazione dati di grandi dimensioni come Hadoop.
- Potente memorizzazione nella cache: PySpark fornisce un semplice livello di programmazione che aiuta nella memorizzazione nella cache rispetto alla cache degli altri framework.
- Real-Time: il calcolo nell'SQL PySpark avviene in memoria, per questo è in tempo reale.
- Distribuzione: può essere distribuita tramite Hadoop o il proprio gestore cluster.
- Polyglot: supporta la programmazione in Scala, Java, Python e R.
Viene utilizzato nei Big Data e laddove vi sono Big Data, ciò implica quello relativo all'analisi dei dati. È lo strumento più popolare nel mercato di Big Data Analytics.
Principali usi di PySpark SQL
Di seguito sono riportati alcuni dei settori in cui Pyspark è utilizzato nella maggioranza:
Industria e-commerce
Nel settore dell'e-commerce, PySpark aggiunge un ruolo importante. Viene utilizzato per migliorare l'accessibilità degli utenti, fornire offerte ai clienti target, pubblicità per i clienti reali. Diversi settori di e-commerce come eBay, Alibaba, Flipkart, Amazon, ecc. Lo usano per ottenere dati autentici a scopi di marketing.
Media
Diversi settori alla guida dei media come Youtube, Netflix, Amazon, ecc. Utilizzano PySpark nella maggior parte dei casi per elaborare dati di grandi dimensioni per renderli disponibili agli utenti. Questo trattamento dei dati avviene in tempo reale per le applicazioni lato server.
Bancario
Il settore bancario è un altro settore importante in cui PySpark viene utilizzato a un livello molto vasto. Sta aiutando il settore finanziario a elaborare transazioni in tempo reale per milioni di elaborazioni discografiche, pubblicità a clienti reali, valutazione del rischio di credito, ecc.
Moduli PySpark
Di seguito alcune delle classi importanti e le loro caratteristiche:
- pyspark.sql.SparkSession: questa classe consente ai programmatori di programmare in Spark con DataFrame e funzionalità SQL. SparkSession utilizzato per creare DataFrame, registrare DataFrame come tabelle, tabelle cache, esegue SQL su tabelle.
- pyspark.sql.DataFrame: la classe DataFrame svolge un ruolo importante nella raccolta distribuita di dati. Questi dati raggruppati in colonne denominate. Spark SQL DataFrame è simile a una tabella di dati relazionali. Un DataFrame può essere creato usando i metodi SQLContext.
- pyspark.sql.Columns: un'istanza di colonna in DataFrame può essere creata usando questa classe.
- pyspark.sql.Row: è possibile creare una riga in DataFrame utilizzando questa classe.
- pyspark.sql.GroupedData: la classe GroupedData fornisce i metodi di aggregazione creati da groupBy ().
- pyspark.sql.DataFrameNaFunctions: questa classe fornisce la funzionalità per lavorare con i dati mancanti.
- pyspark.sql.DataFrameStatFunctions: le funzioni statistiche sono disponibili con DataFrames di Spark SQL. La funzionalità delle funzioni statistiche è fornita da questa classe.
- pyspark.sql.functions: molte funzioni integrate in Spark sono disponibili per lavorare con DataFrames. Di seguito alcune delle funzioni integrate:
| Metodi integrati | Metodi integrati |
| abs (col) | individuare (substr, str, pos = 1) |
| acos (col) | log (arg1, arg2 = Nessuno) |
| add_months (inizio, mesi) | log10 (col) |
| approxCountDistinct (col, res = none) | log1p (col) |
| array ((coll)) | log2 (col) |
| array_contains (col, valore) | inferiore (col) |
| asc (col) | ltrim (col) |
| ascii (col) | max (col) |
| asin (col) | md5 (col) |
| un'abbronzatura | medio (col) |
| atan2 | min (col) |
| avg | minuto (col) |
| Base64 | monotonically_increasing_id () |
| bidone | mese (col) |
| bitwiseNot | mesi_di mezzo (data1, data2) |
| Trasmissione | nanvl (col1, col2) |
| Bround | next_day (date, dayOfWeek) |
| CBRT | NTILE (n) |
| ceil | percent_rank () |
| coalesce ((col)) | posexplode (col) |
| col (col) | pow (col1, col2) |
| collect_list (col) | quarto (col) |
| collect_set (col) | radianti (col) |
| colonna (col) | rand (seed = Nessuno |
| concat (* cols) | randn (seed = None) |
| concat_ws (sep, * col) | rango() |
| conv (col, fromBase, toBase) | regexp_extract (str, pattern, idx) |
| corr (col1, col2) | regexp_replace (str, pattern, sostituzione) |
| cos (col) | ripeti (col, n) |
| cosh (col) | inversa (col) |
| count (col) | Rint (col) |
| countDistinct (col, * cols) | tondo (col, scala = 0) |
| covar_pop (col1, col2) | row_number () |
| covar_samp (col1, col2) | rpad (col, len, pad) |
| CRC32 (col) | rtrim (col) |
| create_map (* cols) | secondo (col) |
| cume_dist () | sha1 (col) |
| data odierna() | sha2 (col, numBits) |
| CURRENT_TIMESTAMP () | shiftLeft (col, numBits) |
| date_add (inizio, giorni) | shiftRight (col, numBits) |
| date_format (data, formato) | shiftRightUnsigned (col, numBits) |
| date_sub (inizio, giorni) | Signum (col) |
| dateiff (fine, inizio) | sin (col) |
| DayOfMonth (col) | sinh (col) |
| dayofyear (col) | dimensioni (col) |
| decodifica (col, set di caratteri) | asimmetria (col) |
| gradi (col) | sort_array (col, asc = True) |
| DENSE_RANK () | soundex (col) |
| disc (col) | spark_partition_id () |
| codificare (col, set di caratteri) | split (str, pattern) |
| exp (col) | sqrt (col) |
| explode (col) | stddev (col) |
| expm1 (col) | stddev_pop (col) |
| expr (str) | stddev_samp (col) |
| fattoriale (col) | struct (* cols) |
| prima (col, ignorenulls = False) | sottostringa (str, pos, len) |
| piano (col) | substring_index (str, delim, count) |
| format_number (col, d) | sum (col) |
| format_string (format, * cols) | sumDistinct (col) |
| from_json (col, schema, options = ()) | tan (col) |
| from_unixtime (timestamp, format = 'yyyy-MM-dd HH: mm: ss') | toDegrees (col) |
| from_utc_timestamp (timestamp, tz) | toRadians (col) |
| get_json_object (col, percorso) | to_date (col) |
| più grandi (colli *) | to_json (col, options = ()) |
| raggruppamento (col) | to_utc_timestamp (timestamp, tz) |
| GROUPING_ID (* cols) | tradurre (srcCol, corrispondenza, sostituzione) |
| hash (* cols) | assetto (col) |
| hex (cols) | trunc (data, formato) |
| ora (col) | udf (f, returnType = StringType) |
| hypot (col1, col2) | unbase64 (col) |
| INITCAP (col) | unhex (col) |
| nome_file_input () | unix_timestamp (timestamp = None, format = 'yyyy-MM-dd HH: mm: ss') |
| instr (str, substr) | superiore (col) |
| isNaN (col) | var_pop (col) |
| IsNull (col) | var_samp (col) |
| json_tuple (col, * campi) | varianza (col) |
| curtosi (col) | WEEKOFYEAR (col) |
| ritardo (col, count = 1, default = None) | quando (condizione, valore) |
| last (col, ignorenulls = False) | window (timeColumn, windowDuration, slideDuration = None, startTime = None) |
| LAST_DAY (data) | anno (col) |
| lead (col, count = 1, default = None) | minimo (* cols), acceso (col) |
| lunghezza (col) | levenshtein (sinistra, destra) |
pyspark.sql.types: questi tipi di classe utilizzati nella conversione del tipo di dati. Utilizzando questa classe un oggetto SQL può essere convertito in un oggetto Python nativo.
- pyspark.sql.streaming: questa classe gestisce tutte quelle query che vengono eseguite in background. Tutti questi metodi utilizzati nello streaming sono apolidi. Le funzioni incorporate sopra indicate sono disponibili per lavorare con dataFrames. Queste funzioni possono essere utilizzate facendo riferimento alla libreria delle funzioni.
- pyspark.sql.Window: tutti i metodi forniti da questa classe possono essere utilizzati per definire e lavorare con Windows in DataFrames.
Conclusione
È uno degli strumenti utilizzati nell'area dell'intelligenza artificiale e dell'apprendimento automatico. Viene utilizzato da sempre più aziende per analisi e apprendimento automatico. Professionisti qualificati in esso saranno più richiesti nel prossimo futuro.
Articoli consigliati
Questa è una guida a PySpark SQL. Qui discutiamo cos'è pyspark SQL, le sue caratteristiche, i suoi principali usi, moduli e metodi integrati. Puoi anche consultare i seguenti articoli per saperne di più -
- Spark DataFrame
- Domande di intervista a Spark
- Funzione data SQL
- Clausola HAVING SQL
- Apache Spark Architecture con due implementazioni
- Come utilizzare DISTINCT in Oracle?