Tengo una implementación de Airflow en Kubernetes configurada con Kubernetes Executor. Configuré un initContainer de sincronización de Git para obtener DAG de mi propio repositorio de DAG, y puedo ver que mis contenedores Worker y Scheduler funcionan bien y tienen su carpeta de DAG actualizada con la última confirmación. Por lo tanto, escribí un DAG simple con dos BashOperator pero mi módulo de trabajo, cuando está programado, muestra el siguiente error:

 [2021-01-14 14:01:13,808] {dagbag.py:440} INFO - Filling up the DagBag from /var/lib/airflow/dags/first_pod.py Traceback (most recent call last): File "/usr/local/bin/airflow", line 8, in <module> sys.exit(main()) File "/usr/local/lib/python3.8/site-packages/airflow/__main__.py", line 40, in main args.func(args) File "/usr/local/lib/python3.8/site-packages/airflow/cli/cli_parser.py", line 48, in command return func(*args, **kwargs) File "/usr/local/lib/python3.8/site-packages/airflow/utils/cli.py", line 89, in wrapper return f(*args, **kwargs) File "/usr/local/lib/python3.8/site-packages/airflow/cli/commands/task_command.py", line 216, in task_run dag = get_dag(args.subdir, args.dag_id) File "/usr/local/lib/python3.8/site-packages/airflow/utils/cli.py", line 187, in get_dag raise AirflowException( airflow.exceptions.AirflowException: dag_id could not be found: test. Either the dag did not exist or it failed to parse.

Entiendo que mi grupo de trabajadores no tiene ningún DAG. Me gustaría evitar iniciar una tarea de sincronización de Git cada vez que se genera un pod, por lo que me gustaría saber si existen algunas prácticas recomendadas para la sincronización de pods de trabajadores, ya que no puedo encontrar ninguna. Gracias por adelantado.