A continuación se muestra mi archivo docker-compose:
version: "3" services: app: image: app restart: always ports: - "8001:8081" depends_on: - kafka - zookeeper - consumer environment: - KAFKA_HOST = kafka zookeeper: image: "wurstmeister/zookeeper:latest" ports: - "2181:2181" hostname: zookeeper kafka: image: "wurstmeister/kafka:2.12-2.2.0" ports: - "9092:9092" hostname: kafka links: - zookeeper:zookeeper environment: KAFKA_CREATE_TOPICS: "Topic01:2:2" #TOPIC:PARTITON:REPLICATION KAFKA_ZOOKEEPER_CONNECTION_TIMEOUT_MS: "60000" KAFKA_AUTO_CREATE_TOPICS_ENABLE: "true" KAFKA_ZOOKEEPER_CONNECT: "zookeeper:2181" KAFKA_LISTENERS: 'PLAINTEXT://:9092' KAFKA_ADVERTISED_LISTENERS: 'PLAINTEXT://kafka:9092' volumes: - /var/run/docker.sock:/var/run/docker.sock consumer: image: consumer:latest build: context: ./consumer ports: - "8283:8283" El flujo de texto se genera utilizando un contenedor para la imagen de la app y puede producir los mensajes.
Se verifica navegando dentro del contenedor kafka:
docker exec -it <CONTAINER ID of Kafka Image> /bin/bash
cuando ejecuto manualmente el siguiente script dentro del contenedor
kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic Topic01 --from-beginning
Puedo ver el fragmento de texto que se está produciendo.
Pero cuando trato de leer los mismos datos del contenedor de la imagen del consumer , me da en blanco,
Método probado:
docker exec dentro del contenedor del consumidor y ejecutó el siguiente código de python:
from kafka import KafkaConsumer consumer = KafkaConsumer('Topic01', bootstrap_servers='kafka:9092') for messages in consumer: print(messages)No imprime nada.
¿Es porque mi archivo docker-compose es incorrecto o el error en el código de python?
Según la documentación de Kafka para oyentes:
Lista de oyentes: lista separada por comas de URI que escucharemos y los nombres de los oyentes. Si el nombre del agente de escucha no es un protocolo de seguridad, también se debe configurar listener.security.protocol.map. Especifique el nombre de host como 0.0.0.0 para enlazar con todas las interfaces. Deje el nombre de host vacío para enlazar con la interfaz predeterminada . Ejemplos de listas de oyentes legales: PLAINTEXT://myhost:9092,SSL://:9091 CLIENT://0.0.0.0:9092,REPLICATION://localhost:9093
Está configurando KAFKA_LISTENERS en PLAINTEXT://:9092 , por lo que se vincula a la interfaz predeterminada, a la que es posible que no se pueda acceder desde el exterior de su contenedor Kafka (mientras que al mismo tiempo funciona bien con el consumidor de la consola que usa localhost). Pruébelo y especifique KAFKA_LISTENERS como PLAINTEXT://0.0.0.0:9092 para verificar si su consumidor comienza a consumir mensajes.