Tengo un trabajo Glue ETL que lee los datos del catálogo y escribe en s3. Una vez hecho esto, se debe activar un rastreador para actualizar los datos en Athena.
Entonces, estoy usando el método glue_client.start_crawler(Name='crawler_name') para iniciar un rastreador. Pero cada vez que intenté iniciar un rastreador desde el trabajo de ETL Glue, fallaba con el siguiente error
ConnectTimeoutError: Connect timeout on endpoint URL: "https://glue.eu-central-1.amazonaws.com/"Cuando inicia un trabajo de Glue dentro de una VPC adjuntando una conexión, el tráfico residirá solo en la red de AWS y sin pasar por la Internet pública.
Esta es la razón por la que no puede conectarse a la llamada API del rastreador de inicio de Glue boto3. Para hacerlo, debe crear/agregar el punto final de Glue VPC a la VPC y la solicitud para iniciar el rastreador debe ser como se muestra a continuación, que incluye endpoint_url.
import boto3 glue = boto3.client(service_name='glue', region_name='eu-central-1', endpoint_url='https://glue.eu-central-1.amazonaws.com') glue.start_crawler(Name='crawler_name')