Usando Kafka localmente

-
En esta entrada dejaremos funcionando Kafka localmente
  1. Descarguemos kafka, como normalmente ocurre, hay varias opciones, yo prefiero bajar el binario.
  2. Luego extraerlo en donde lo ocuparemos y le podemos crear una carpeta llamada data para lo que viene:
  3. Agregar el bin de Kafka al path:
    
    export PATH=~/code/kafka/kafka_2.13-3.9.0/bin/:$PATH
  4. Configurar los brokers
    Acá configuraremos 3 brokers, para eso vamos a la carpeta kafka_2.13-3.9.1/config y creamos 3 archivos: kafka1.properties, kafka2.properties y kafka3.properties.

    NO OLVIDAR, hay que indicar la carpeta donde quedarán los datos (en mi caso es /home/sebastian/code/kafka/data/):

    kafka1.properties: 
    
broker.id=1
log.dirs=/home/sebastian/code/kafka/data/kafka1
listeners=PLAINTEXT://:9092,CONTROLLER://:9192
process.roles=broker,controller
controller.quorum.voters=1@localhost:9192,2@localhost:9193,3@localhost:9194
controller.listener.names=CONTROLLER
listener.security.protocol.map=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT
    kafka2.properties:
    
broker.id=2
log.dirs=/home/sebastian/code/kafka/data/kafka2
listeners=PLAINTEXT://:9093,CONTROLLER://:9193
process.roles=broker,controller
controller.quorum.voters=1@localhost:9192,2@localhost:9193,3@localhost:9194
controller.listener.names=CONTROLLER
listener.security.protocol.map=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT
    kafka3.properties:
    
broker.id=3
log.dirs=/home/sebastian/code/kafka/data/kafka3
listeners=PLAINTEXT://:9094,CONTROLLER://:9194
process.roles=broker,controller
controller.quorum.voters=1@localhost:9192,2@localhost:9193,3@localhost:9194
controller.listener.names=CONTROLLER
listener.security.protocol.map=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT

    copiar y pegar el contenido en el archivo indicado.

  5. Tenemos que inicializar los directorios de cada broker (cambiar versiones y directorios si es necesario), ejecutar en forma secuencial: 
    
export KAFKA_CLUSTER_ID="$(kafka-storage.sh random-uuid)"
kafka-storage.sh format -t $KAFKA_CLUSTER_ID -c ~/code/kafka/kafka_2.13-3.9.1/config/kafka1.properties
kafka-storage.sh format -t $KAFKA_CLUSTER_ID -c ~/code/kafka/kafka_2.13-3.9.1/config/kafka2.properties
kafka-storage.sh format -t $KAFKA_CLUSTER_ID -c ~/code/kafka/kafka_2.13-3.9.1/config/kafka3.properties

    la salida sería algo así:
  6. Ahora iniciar los brokers con los siguiente comando: 
    
  kafka-server-start.sh ~/code/kafka/kafka_2.13-3.9.1/config/kafka1.properties
  kafka-server-start.sh ~/code/kafka/kafka_2.13-3.9.1/config/kafka2.properties
  kafka-server-start.sh ~/code/kafka/kafka_2.13-3.9.1/config/kafka3.properties
    ejecutarlos en terminales separados o usar el & para unirlos y lanzarlos juntos en una sola linea.

  7. Para detenerlos hay que ejecutar: 
    
        ~/code/kafka/kafka_2.13-3.9.1/bin/kafka-server-stop.sh
  8. Listo!


con eso queda lista la configuración inicial de Kafka, lista para jugar, crear tópicos y enviar mensajes 😀

Bonus por llegar al final: creaer un tópico

Para crear un tópico ejecutamos: 

          kafka-topics.sh \
          --create \
          --topic the.topic \
          --partitions 1 \
          --replication-factor 1 \
          --bootstrap-server localhost:9092

Comentarios

Publicar un comentario

Entradas más populares de este blog

Spring Boot + Spring Security + React + Keycloak

-
Imagen
Ahora mostraré como utilizar Spring Boot , Spring Security y Keycloak para tener recursos protegidos accediendo a ellos utilizando React 😉. Configurar Keycloak Configurar Spring Boot Configurar React   Keycloak Keycloak se puede obtener utilizando docker o desde su página como Standalone server distribution (previamente en este enlace había indicado como obtenerlo y lanzarlo).  Luego de lanzarlo estará disponible localmente y procedemos a realizar su configuración (en mi caso visitando http://localhost:8282/): Si es la primera vez configuramos el usuario administrador. Una vez ingresado entramos a la aplicación: Seleccionamos Add realm y definimos su nombre, en este ejemplo es: sso Luego vamos a Clients y presionamos Create para agregar dos clientes: cliente-uno para Spring Boot y cliente-dos para React, en ambos definimos su Root URL y Web Origins (NO olvidar presionar el boton save cuando realizamos modificaciones, web ...
Leer más

Servicios: Invertir las dependencias utilizando el sistema de módulos

-
Imagen
Hoy quiero mostrar un ejemplo del uso de servicios utilizando módulos. Esta característica está presente desde Java 9 y nos permite invertir la dirección de las dependencias dejando al sistema de módulos obtener las implementaciones que serán utilizadas y nuestro modulo consumidor solo tiene que interactuar con tipos abstractos. Creando Servicios Comenzamos con la siguiente figura: El Consumidor solo tiene conocimiento de la interface Servicio, la cual utiliza en tiempo de ejecución llamando al método identificar en cada una de las implementaciones que recibe, en este caso serán ServicioA y ServicioB. Lo entretenido del sistema de módulos es que nos entrega esta funcionalidad, podemos crear los módulos que provean los servicios, agregarlos al module path y serán provistos a la clase consumidora. La siguiente imagen muestra los módulos que usaremos:    Si es necesario agregar mas servicios generamos nuevos módulos que implementan la interface Servicio y los dejamos ...
Leer más

Usando Redis en Pruebas [versión 2]

-
Previamente había comentado como utilizar Redis en pruebas mediante redis embebido, pero en esta ocasión utilizaremos Testcontainers , que como lo dicen en su página, podemos utilizar cualquier cosa que corra en docker en nuestros tests 😮. Comencemos Lo primero es incluir en nuestro pom la dependencia a testcontainers: <dependency> <groupId>org.testcontainers</groupId> <artifactId>testcontainers</artifactId> <version>1.11.2</version> </dependency> También incluimos otras librerías de test y el cliente redis: <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.12</version> <scope>test</scope> </dependency> <dependency> <groupId>org.assertj</groupId> <artifactId>assertj-core</artifactId> <version>3.11.1</version> <scope>test</scope> </depende...
Leer más