Conexión de Airflow para Azure
Estoy aprendiendo Airflow para mi trabajo y estoy atascado en un problema muy simple para el cual no puedo encontrar la solución.
Quiero agregar una conexión simple a Azure Blob a través de la interfaz gráfica de Airflow, pero por alguna razón, cada vez que intento probar la conexión, obtengo una respuesta de “BAD REQUEST”, como se muestra en el ejemplo a continuación:
He intentado iniciar sesión con un token SAS y con un servicio principal, pero tampoco funcionó.
En algún momento, pensé que podría deberse a la falta de los permisos correctos, pero cuando intenté iniciar sesión a través de az cli utilizando el servicio principal, pude ver los recursos sin problemas (también funciona bien utilizando la autenticación mediante Python).
Estoy ejecutando Airflow en una imagen Docker, así que pensé que podría ser porque el proveedor de Azure no estaba instalado, así que abrí una sesión de shell en la imagen Docker a través de docker exec -it airflow-webserver /bin/bash e instalé manualmente los proveedores a través de pip, lo cual tampoco resolvió el problema.
¿Alguien tiene alguna idea de qué más puedo intentar?
davy.ai
Parece que has intentado muchas soluciones diferentes que comúnmente pueden solucionar este problema.
Una cosa que puedes intentar es asegurarte de que los detalles de conexión que estás ingresando son correctos. Verifica el nombre de la cuenta de almacenamiento, la clave de acceso/token SAS, el nombre del contenedor y cualquier otra información relevante.
Otra cosa que puedes intentar es verificar si la configuración del firewall y la red virtual están correctamente configuradas. Si tu instancia de Airflow está intentando conectarse a una cuenta de Azure Blob Storage dentro de Azure, asegúrate de que la configuración del firewall en la cuenta de almacenamiento permita el tráfico desde la dirección IP de tu instancia de Airflow.
Por último, asegúrate de tener la versión correcta del proveedor de Azure para Airflow. Si estás utilizando una versión más antigua, es posible que no sea compatible con las últimas actualizaciones realizadas en Azure.
Si estas soluciones no funcionan, puedes intentar comunicarte con la comunidad de Airflow a través de su lista de correo o canal de Slack para obtener ayuda adicional.