Com instal·lar Apache Kafka a CentOS/RHEL 7

Apache Kafka és un potent motor de missatgeria, que s'utilitza àmpliament en projectes BigData i el cicle de vida de Data Analytics. És una plataforma de codi obert per crear canalitzacions de transmissió de dades en temps real. És una plataforma de publicació i subscripció distribuïda amb fiabilitat, escalabilitat i durabilitat.

Podem tenir Kafka com a autònom o com a clúster. Kafka emmagatzema les dades de transmissió i es poden classificar com a Temes. El tema tindrà diverses particions perquè pugui gestionar una quantitat arbitrària de dades. A més, podem tenir diverses rèpliques per tolerar errors com estem tenint a HDFS. En un clúster de Kafka, el corredor és un component que emmagatzema les dades publicades.

Zookeeper és un servei obligatori per executar un clúster de Kafka, ja que s'utilitza per gestionar la coordinació dels corredors de Kafka. Zookeeper té un paper clau entre productor i consumidor on és responsable de mantenir l'estat de tots els corredors.

En aquest article, explicarem com instal·lar Apache Kafka en un sol node CentOS 7 o RHEL 7.

Instal·lació d'Apache Kafka a CentOS 7

1. Primer, heu d'instal·lar Java al vostre sistema per executar Apache Kafka sense cap error. Per tant, instal·leu la versió disponible per defecte de Java mitjançant l'ordre yum següent i verifiqueu la versió de Java tal com es mostra.

# yum -y install java-1.8.0-openjdk
# java -version

2. A continuació, descarregueu la versió estable més recent d'Apache Kafka des del lloc web oficial o utilitzeu l'ordre wget següent per descarregar-la directament i extreure-la.

# wget https://mirrors.estointernet.in/apache/kafka/2.7.0/kafka_2.13-2.7.0.tgz 
# tar -xzf kafka_2.13-2.7.0.tgz 

3. Creeu un enllaç simbòlic per al paquet kafka, després afegiu la ruta de l'entorn Kafka al fitxer .bash_profile i, a continuació, inicialitzeu-lo tal com es mostra.

# ln -s kafka_2.13-2.7.0 kafka
# echo "export PATH=$PATH:/root/kafka_2.13-2.7.0/bin" >> ~/.bash_profile
# source ~/.bash_profile

4. A continuació, inicieu el Zookeeper, que ve integrat amb el paquet Kafka. Com que és un clúster d'un sol node, podeu iniciar el zookeeper amb les propietats predeterminades.

# zookeeper-server-start.sh -daemon /root/kafka/config/zookeeper.properties

5. Valideu si el zookeeper és accessible o no mitjançant simplement telnet al port 2181 del zookeeper.

# telnet localhost 2181

6. Inicieu el Kafka amb les seves propietats predeterminades.

# kafka-server-start.sh -daemon /root/kafka/config/server.properties

7. Valideu si el Kafka és accessible o no mitjançant simplement telnet al port 9092 de Kafka

# telnet localhost 9092

8. A continuació, creeu un tema de mostra.

# kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic tecmint

9. Enumereu el tema creat.

# kafka-topics.sh --zookeeper localhost:2181 --list

En aquest article, hem vist com instal·lar un clúster Kafka d'un sol node a CentOS 7. Veurem com instal·lar un clúster Kafka multinode al següent article.