Tengo un clúster de amazon msk (kafka) en una vpc y puedo acceder a él a través de un cliente (instancia EC2) que está en la misma vpc. mi pregunta es... ¿puedo acceder a mi clúster desde un cliente que está en mi computadora local? ¿Cómo puedo hacer esta configuración? Intenté cambiar las tablas de enrutamiento de la vpc y las subredes y todavía no puedo.
Esto no es posible directamente. Según las preguntas frecuentes de MSK
Sí, la única forma en que se pueden producir y consumir datos desde un clúster de Amazon MSK es a través de una conexión privada entre sus clientes en su VPC y el clúster de Amazon MSK. Amazon MSK no admite puntos de enlace públicos.
En su lugar, necesitará una conexión VPN de entrada a su VPC o un host bastión para el tráfico de proxy desde su host local al MSK.
Tuve el mismo problema y descubrí que la respuesta en este artículo funciona. Básicamente, busca los ENI de su clúster, que deberían ser cinco: 3 para cada nodo zookeeper y 2 para cada intermediario. Deben incluir una descripción similar a: DO NOT DELETE - Amazon MSK network interface for cluster arn:aws:kafka:... .
Usted crea una IP elástica para cada uno de ellos, lo que podría significar pedirle al soporte que aumente su límite, ya que creo que el límite estándar de EIP por cuenta por región es 5 o 6 y probablemente use algunos en otros lugares. Luego, desde la interfaz ENI en la consola EC2, asocia un EIP con cada MSK ENI.
Sin embargo, tuve un problema con las URL y la edición de mi archivo de hosts no parecía funcionar. Las direcciones URL de los intermediarios y del cuidador del zoológico todavía estaban resueltas en las direcciones IP privadas, por lo que terminé usando las direcciones IP públicas directamente.
Editar: Bien, resulta que me equivoqué. Debe editar su archivo de hosts al menos para los servidores de arranque. Pensé que los eliminé de mi archivo de hosts y probé y funcionó, pero probablemente estaban en caché. Por lo tanto, debe asignar los EIP públicos a los servidores de arranque y debe asignar la IP correcta a la URL correcta; de lo contrario, obtendrá un error de metadatos. Sin embargo, por alguna razón, Zookeeper parece funcionar sin asignar sus IP públicas a sus URL, simplemente usando las IP públicas. Mientras que sin asignar las IP públicas a las URL del servidor de arranque, parece que la IP pública se transforma en la URL que luego se resuelve en su IP privada.
1. Create public end point . Make sure plain text access is disabled.Security & NACL are enabled for your source location. 2. Go to window local machine 3. set the profile in .aws/config & .aws/credential in config- [default] region = ap-northeast-1 output = json [profile <Your profile name>] region = ap-northeast-1 output = json in credential file - Create a user in AWS and give the required MSK permission. Generate secret id & secret key and set in below file [<Your profile name>] aws_access_key_id = <AWS USER ACCESS KEY ID> aws_secret_access_key = <AWS SECRET ACCESS KEY> 4. Now go to CMD prompt of window and set the below variable set AWS_PROFILE=<Your profile name> 5. Create the client.properties file in config folder of kafka and put below values ssl.truststore.location=<PATH_TO_TRUST_STORE_FILE> security.protocol=SASL_SSL sasl.mechanism=AWS_MSK_IAM sasl.jaas.config=software.amazon.msk.auth.iam.IAMLoginModule required; sasl.client.callback.handler.class=software.amazon.msk.auth.iam.IAMClientCallbackHandler 5. Now get public end point of broker on port 9198. Ready to execute public end point outside of VPC. /kafka-console-producer.sh --bootstrap-server <public broker servers on enter code here`ort 9198> --topic <Your topic name> --producer.config config/client.properties