Business
Jobs
  • About Us
  • Solutions
    • Job Postings
      Post your job and receive qualified candidates in 48h.
    • Candidate Assessments
      500+ technical and psychological tests, plus anti-fraud.
    • Headhunting
      Tailor-made executive search from start to finish.
    • Payroll + EOR
      Payroll dispersal and EOR across 15+ LATAM countries.
  • Pricing
  • Jobs

0

509
Views
Conector receptor de Kafka: no se asignan tareas, incluso después de reiniciar

Estoy usando Confluent 3.2 en un conjunto de contenedores Docker, uno de los cuales ejecuta un trabajador de conexión kafka.

Por razones que aún no me quedan claras, dos de mis cuatro conectores (para ser específicos, el conector receptor MongoDB de hpgraphsl) dejaron de funcionar. Pude identificar el problema principal: los conectores no tenían ninguna tarea asignada, como se podía ver llamando a GET /connectors/{my_connector}/status . Los otros dos conectores (del mismo tipo) no se vieron afectados y producían felizmente la salida.

Probé tres métodos diferentes para que mis conectores vuelvan a funcionar a través de la API REST:

  • Pausar y reanudar los conectores
  • Reinicio de los conectores
  • Eliminar y crear el conector con el mismo nombre, usando la misma configuración

Ninguno de los métodos funcionó. Finalmente conseguí que mis conectores funcionaran de nuevo:

  • Eliminar y crear el conector con un nombre diferente, diga my_connector_v2 en lugar de my_connector

¿Que esta pasando aqui? ¿Por qué no puedo reiniciar mi conector existente y hacer que inicie una tarea real? ¿Hay algún dato obsoleto en el trabajador de kafka-connect o en algún tema relacionado con kafka-connect en los corredores de Kafka que deba limpiarse?

Presenté un problema en el repositorio de github del conector específico, pero siento que esto podría ser un error general relacionado con los aspectos intrínsecos de kafka-connect. ¿Algunas ideas?

about 4 years ago · Santiago Trujillo
1 answers
Answer question

0

Me he enfrentado a este problema. Si los recursos son menores para que se inicie SinkTask o SourceTask, esto puede suceder.

La memoria asignada al trabajador puede ser menor en algún momento. Por defecto, a los trabajadores se les asignan 250 MB. Por favor aumente esto. A continuación se muestra un ejemplo para asignar 2 GB de memoria para el trabajador que se ejecuta en modo distribuido.

KAFKA_HEAP_OPTS="-Xmx2G" sh $KAFKA_SERVICE_HOME/connect-distributed $KAFKA_CONFIG_HOME/connect-avro-distributed.properties

about 4 years ago · Santiago Trujillo Report
Answer question
Find remote jobs

Discover the new way to find a job!

Top jobs
Top job categories
Business
Post vacancy Pricing Sales
Legal
Terms and conditions Privacy policy
© 2026 PeakU Inc. All Rights Reserved.
Andres GPT
Show me some job opportunities
There's an error!