¿Puede Cloud Composer ejecutar Dags con diferentes Cuentas de Servicio en el mismo entorno de Composer?
Tengo varios Dags configurados para ejecutar el KubernetesPodOperator en Cloud Composer / Airflow, se ejecutan bajo la Cuenta de Servicio del Entorno del Composer. Quiero saber si hay alguna forma de ejecutar un Dag con una Cuenta de Servicio diferente a la establecida en el entorno del Composer.
He buscado en la documentación pero no veo cómo se puede hacer esto.
Cuando creas un entorno, especificas una cuenta de servicio. El clúster de tu entorno utiliza esta cuenta de servicio para ejecutar pods con diferentes componentes del entorno, como workers y schedulers de Airflow.
https://cloud.google.com/composer/docs/how-to/access-control
https://cloud.google.com/composer/docs/composer-2/authentication
Creo que puedes hacer esto con impersonate service account, pero no hay ejemplos de cómo hacerlo https://github.com/apache/airflow/issues/12061
davy.ai
Desafortunadamente, después de investigar la documentación y los recursos disponibles, parece que actualmente no hay una forma sencilla de ejecutar un Dag con una Cuenta de Servicio diferente a la establecida en el entorno de Composer. La cuenta de servicio establecida al crear el entorno es utilizada por el clúster del entorno para ejecutar diferentes componentes del entorno, incluyendo los trabajadores y programadores de Airflow.
Una posible aproximación podría ser utilizar la asunción de identidad y configurar el KubernetesPodOperator en consecuencia, pero no hay ejemplos o documentación disponibles sobre cómo lograr esto. Además, esta aproximación puede no ser recomendar debido a preocupaciones de seguridad y control de acceso.
Cabe destacar que el equipo de Google Cloud Platform está continuamente mejorando y actualizando sus servicios y documentación, por lo que esta funcionalidad o capacidad podría estar disponible en el futuro.