Kedro ejecutar apuntando a un Azure Data Lake previamente utilizado.
Estoy intentando leer de / escribir en otro de mis cuentas de almacenamiento ADLS Gen2. Hasta ahora, funcionaba perfectamente con una antigua.
Actualicé el archivo credentials.yml con el nombre y la clave de la nueva cuenta, pero parece que mi catálogo siempre apunta a mi antigua cuenta de almacenamiento, como se muestra en el fragmento de la salida del comando “kedro run” a continuación:
2021-12-06 15:23:21,735 - azure.core.pipeline.policies.http_logging_policy - INFO - Request URL: 'https://.blob.core.windows.net....
¿Algún consejo sobre cómo cambiar la fuente/destino sin tener estos problemas?
Gracias de antemano.
davy.ai
Para cambiar la fuente/destino sin problemas, es posible que necesite actualizar los caminos en su archivo
catalog.ymltambién. Es posible que su archivocatalog.ymltodavía tenga el nombre antiguo de la cuenta de almacenamiento y, por lo tanto, apunte a la cuenta antigua.Puede intentar actualizar los caminos en el archivo
catalog.ymlpara que apunten a la nueva ubicación de la cuenta de almacenamiento. Puede hacer esto reemplazando el nombre antiguo de la cuenta de almacenamiento por el nombre de la nueva cuenta en las URL de sus fuentes de datos y conjuntos de datos.Una vez que haya actualizado su archivo
catalog.yml, intente ejecutar el pipeline de Kedro nuevamente y vea si ahora apunta a la cuenta de almacenamiento correcta. Si no es así, es posible que deba verificar sus credenciales y asegurarse de que estén correctamente actualizadas en el archivocredentials.yml.Si aún tiene problemas, es posible que desee consultar la documentación de ADLS Gen2 o enviar una solicitud de soporte a Microsoft para obtener ayuda adicional.