Quiero transmitir datos desde las instalaciones a la nube (S3) usando Kafka. Para lo cual necesito instalar kafka en la máquina fuente y también en la nube. Pero no quiero instalarlo en la nube. Necesito un conector S3 a través del cual pueda conectarme con kafka y transmitir datos desde las instalaciones a la nube.
Si sus datos están en formato Avro o Json (o se pueden convertir a esos formatos), puede usar el conector S3 para Kafka Connect. Consulte los documentos de Confluent al respecto.
Si desea mover archivos reales (más grandes) a través de Kafka, tenga en cuenta que Kafka está diseñado para mensajes pequeños y no para transferencias de archivos.
Hay un proyecto kafka-connect-s3 que consta de un conector receptor y fuente de Spreadfast, que puede manejar formato de texto. Desafortunadamente, no está realmente actualizado, pero funciona de todos modos.