Estoy probando un ejemplo simple de inicio rápido y obtengo:
Causado por: org.apache.kafka.connect.errors.ConnectException: no se pudo encontrar ninguna clase que implemente Connector y cuyo nombre coincida con io.confluent.connect.s3.S3SinkConnector, los conectores disponibles son: io.confluent.connect.jdbc.JdbcSinkConnector , io.confluent.connect.jdbc.JdbcSourceConnector, org.apache.kafka.connect.tools.MockSinkConnector, org.apache.kafka.connect.file.FileStreamSourceConnector, org.apache.kafka.connect.sink.SinkConnector, io.confluent .connect.elasticsearch.ElasticsearchSinkConnector, org.apache.kafka.connect.tools.MockConnector, io.confluent.connect.hdfs.HdfsSinkConnector, org.apache.kafka.connect.file.FileStreamSinkConnector, org.apache.kafka.connect.tools .VerifiableSourceConnector, org.apache.kafka.connect.tools.VerifiableSinkConnector, org.apache.kafka.connect.tools.SchemaSourceConnector, org.apache.kafka.connect.source.SourceConnector, org.apache.kafka.connect.tools.MockSourceConnector , io.confluent.connect.hdfs.tools.SchemaSourceConnector
Esta es una máquina virtual completamente nueva que ejecuta la última plataforma Confluent 3.2.0 instalada a través del paquete apt de Debian. Puedo ver que definitivamente está ejecutando CP 3.2.0. ¿Por qué no estaría disponible la clase de conector S3?
No estoy seguro si esto está relacionado, pero si lo hago:
ls -l /etc/ | grep kafka drwxr-xr-x 2 root root 4096 Apr 5 04:41 kafka drwxr-xr-x 2 root root 4096 Apr 5 04:39 kafka-connect-elasticsearch drwxr-xr-x 2 root root 4096 Apr 5 04:39 kafka-connect-hdfs drwxr-xr-x 2 root root 4096 Apr 5 04:39 kafka-connect-jdbc drwxr-xr-x 2 root root 4096 Apr 5 04:39 kafka-restLos documentos hacen referencia a un directorio kafka-connect-s3 que claramente no existe en la instalación.
Estoy usando la variante de código abierto de la plataforma Confluent, pero según https://www.confluent.io/product/compare/ , la versión de código abierto incluye el conector Confluent Amazon S3 Connect.
Como solución alternativa, puede descargar la versión zip o tar desde http://confluent.io
Desde allí, encontrará kafka-connect-s3 en el directorio etc y share/java .
Este fue un error de empaquetado en 3.2.0 y se solucionó en la última versión de Confluent que a partir de hoy (17 de mayo de 2017) es 3.2.1
También hay una corrección de errores en S3 Connector en la versión 3.2.1, por lo que es mejor usar esa versión de todos modos.