Come installare Kafka?
Kafka è una piattaforma di streaming distribuita. Aiuta a pubblicare e sottoscrivere flussi di record. Kafka viene generalmente utilizzato per la creazione di pipeline di dati in streaming in tempo reale che ottengono in modo affidabile dati tra diversi sistemi e applicazioni. Può anche aiutare a creare applicazioni di streaming in tempo reale che aiutano a trasformare o apportare modifiche con i flussi di dati. Kafka consente di archiviare flussi di record in diverse categorie chiamate argomenti. Ogni record è costituito da una chiave, un valore e un timestamp. Ha quattro componenti principali come API del produttore, API del consumatore, API di stream e API del connettore. Utilizza il protocollo TCP che è una buona comunicazione tra client e server ad alte prestazioni. Per installare Kafka è possibile seguire i seguenti passaggi.
Installa Kafka sul sistema operativo Windows
Per installare Kafka su Windows seguire i passaggi seguenti:
Passaggio 1. Scarica Zookeeper dal seguente link: HTTP: //zookeeper.apache.org/releases.html
Una volta fatto, scarica Kafka dal seguente link: http://kafka.apache.org/downloads.html
Scaricare anche JRE secondo il sistema operativo e l'architettura della CPU dal collegamento seguente: http://www.oracle.com/technetwork/java/javase/downloads/jre8-downloads-2133155.html
Passaggio 2. Impostazione JDK
Avviare l'installazione di JRE e quindi fare clic sulla casella di controllo "Cambia cartella di destinazione". Ora fai clic su Installa.
Una volta fatto, cambia la directory in qualsiasi percorso senza spazi nel nome della cartella.
Passaggio 3. Al termine, aprire le variabili di ambiente dal Pannello di controllo -> Sistema -> Impostazioni di sistema avanzate -> Variabili di ambiente.
Passaggio 4. Fare clic su Nuova variabile utente nella scheda Variabile utente, quindi digitare JAVA_HOME nel nome della variabile. Immettere il percorso JRE nella sezione Valore variabile. Dovrebbe essere come di seguito:
Passaggio 5. Ora fai clic su OK.
Passaggio 6. Cercare una variabile di percorso nella sezione "Variabile di sistema" nella finestra di dialogo "Variabile d'ambiente" che viene aperta.
Passaggio 7. Modifica il percorso e digita ";% JAVA_HOME% \ bin" alla fine del testo già scritto lì, proprio come l'immagine qui sotto:
Passaggio 8. Per verificare se Java è installato correttamente, accedere a Prompt dei comandi e digitare "java - versione". La versione di Java installata verrà visualizzata sullo schermo.
Se vedi i dettagli sopra sul prompt dei comandi, allora sei bravo dal lato Java.
Una volta installato Java, ora puoi spostarti per completare l'installazione di Zookeeper.
Segui i passaggi seguenti per installare Zookeeper sul tuo sistema:
- Aprire la directory in cui è presente la directory di configurazione di Zookeeper. Può essere C: \ zookeeper-3.4.7 \ conf.
- Ora rinomina il file "zoo_sample.cfg" in "cfg"
- Apri questo file rinominato in Blocco note.
- Trova e modifica quanto segue: dataDir = / tmp / zookeeper su \ zookeeper-3.4.7 \ data
- Proprio come abbiamo aggiunto la variabile d'ambiente per Java, aggiungi una variabile d'ambiente per Zookeeper.
- Imposta il percorso della variabile di sistema come: dataDir = / tmp / zookeeper su: \ zookeeper-3.4.7 \ data
- Modifica la variabile di sistema denominata "Path" e aggiungi; % ZOOKEEPER_HOME% \ bin;
- La porta predefinita per Zookeeper è 2181 che può essere cambiata in qualsiasi altra porta andando al file zoo.cfg.
- Esegui Zookeeper aprendo un nuovo cmd e digita "zkserver". Vedrai i dettagli di seguito.
Una volta visualizzata questa schermata, dovresti essere sicuro che Zookeeper sia stato installato correttamente.
Configurare Kafka
Una volta che Java e Zookeeper sono attivi e in esecuzione sul tuo sistema, puoi procedere con l'installazione di Kafka.
- Vai alla directory di configurazione di Kafka.
- Modifica il file "server.properties".
- Una volta fatto, puoi trovare e modificare la riga dove vedi: dirs = / tmp / kafka-logs in “log.dir = C: \ kafka_2.11-0.9.0.0 \ kafka-logs
- Se hai Zookeeper in esecuzione su un'altra macchina, puoi cambiare questo percorso in "zookeeper.connect: 2181" in un IP personalizzato e un ID porta.
- La porta predefinita per Kafka è la porta 9092 e per connettersi a Zookeeper è 2181.
Esecuzione di un server Kafka
Una volta terminata la configurazione iniziale, puoi facilmente eseguire un server Kafka
Prima di eseguire il server Kafka, è necessario assicurarsi che l'istanza di Zookeeper sia attiva e in esecuzione.
1. Vai alla directory di installazione di Kafka: C: /kafka_2.11-0.9.0.0
2. Apri il prompt dei comandi e premi Maiusc + tasto destro e scegli l'opzione 'Apri finestra di comando qui'.
3. Ora digita. \ Bin \ windows \ kafka-server-start.bat. \ Config \ server.properties e premi Invio.
Una volta eseguito questo e tutto va bene, lo schermo dovrebbe apparire come di seguito:
4. Ora il tuo server Kafka è attivo e funzionante. Puoi creare i tuoi argomenti per archiviare diversi messaggi. Fatto ciò, è possibile produrre e consumare dati dal codice Java o Scala o direttamente dal prompt dei comandi.
Installa Kafka su Linux
Segui i passaggi seguenti per installare Kafka su Linux:
Passaggio 1. Scaricare ed estrarre i binari di Kafka e archiviarli nelle directory.
Passaggio 2. Estrarre l'archivio scaricato utilizzando il comando tar.
Passaggio 3. Per configurare Kafka vai su server.properties. Apri questo file usando il comando nano e aggiungi quanto segue in fondo al file.
nano ~/Kafka/config/server.properties
delete.topic.enable = true
Passaggio 4. Al termine, l'utente dovrà creare i file delle unità di sistema per i servizi di Kafka. Questo aiuta ad eseguire azioni di servizio comuni come l'avvio, l'arresto e il riavvio di Kafka in modo coerente con altri servizi Linux. Zookeeper è un servizio utilizzato da Kafka per gestire il suo cluster e le sue configurazioni.
Passaggio 5. Per creare un file di unità per Zookeeper segui di seguito:
sudo nano /etc/systemd/system/zookeeper.service
Passaggio 6. Una volta creato questo file zookeeper, incollalo di seguito:
(Unit) Requires=network.target remote-fs.target
After=network.target remotefs.target
(Service) Type=simple
User=kafka
ExecStart=/home/kafka/kafka/bin/zookeeper-server-start.sh /home/kafka/kafka/config/zookeeper.properties
ExecStop=/home/kafka/kafka/bin/zookeeper-server-stop.sh
Restart=on-abnormal
(Install) WantedBy=multi-user.target
Questa sezione (Unità) qui specifica che Zookeeper richiede che la rete e il filesystem siano pronti prima di poter iniziare.
La sezione (Servizio) informa il sistema che sono presenti file zookeeper-server-start.sh e zookeeper-server-stop.sh per l'avvio e l'arresto dei servizi.
Passaggio 7. Ora l'utente dovrebbe creare un file di sistema per Kafka come di seguito:sudo nano /etc/system/system/Kafka.service
Passaggio 8. In questo file incollare di seguito:
(Unit) Requires=zookeeper.service
After=zookeeper.service
(Service) Type=simple
User=kafka
ExecStart=/bin/sh -c '/home/kafka/kafka/bin/kafka-server-start.sh
/home/kafka/kafka/config/server.properties >
/home/kafka/kafka/kafka.log 2>&1'
ExecStop=/home/kafka/kafka/bin/kafka-server-stop.shRestart=on-abnormal
(Install) WantedBy=multi-user.target
Qui (Unità) specifica che il file di unità dipende da zookeeper.service. Ciò garantisce che Zookeeper sia avviato prima dell'avvio di Kafka.
Passaggio 9. Ora è necessario abilitare Kafka e riavviare il server. Esegui: sudo systemctl abilita Kafka
Passaggio 10. Test dell'installazione:
Puoi testare la tua installazione di Kafka creando un argomento e pubblicandolo poi ai consumatori.
Crea un argomento con : ~ / Kafka / bin / Kafka-topics.sh –create –zookeeper localhost: 2181 –replication-factor 1 –partitions 1 –topic TutorialTopic
Pubblica questo utente può creare produttori e consumatori e quindi pubblicare qualsiasi dato sugli argomenti specifici.
Articoli consigliati
Questa è stata una guida per installare Kafka. Qui abbiamo discusso diversi passaggi per installare Kafka su Windows e Linux. Puoi anche consultare i seguenti articoli per saperne di più -
- Passaggio per installare Java 8
- Come installare C
- Guida per installare Ruby
- Applicazioni Kafka
- JRE vs JVM | Le 8 principali differenze con (Infografica)