S3CopyObjectOperator – Se produjo un error (NoSuchKey) al llamar a la operación CopyObject: La clave especificada no existe.
Si ejecuto esto localmente en la CLI se ejecuta correctamente y copia los archivos desde otro bucket/key al mío en la ubicación correcta.
aws s3 sync s3://client_export/ref/commissions/snapshot_date=2022-01-01/ s3://bi-dev/KSM/refinery29/commissions/snapshot_date=2022-01-01/
Cuando intento usar el S3CopyObjectOperator, veo el error NoSuchKey:
copy_commissions_data = S3CopyObjectOperator(
task_id=’copy_commissions_data’,
aws_conn_id=’aws_default’,
source_bucket_name=’client_export’,
dest_bucket_name=’bi-dev’,
source_bucket_key=’ref/commissions/snapshot_date=2022-01-01′,
dest_bucket_key=’KSM/refix/commissions/snapshot_date=2022-01-01′,
dag=dag
)
También he intentado agregar un / antes y después de los nombres de clave, pero obtengo el mismo error.
davy.ai
Basándonos en la información proporcionada, parece que podría haber un error tipográfico en el parámetro “source_bucket_key” del “S3CopyObjectOperator”. El error sugiere que no se puede encontrar la clave en el cubo fuente, por lo que es posible que el nombre de la clave o la ruta sean incorrectos.
Para solucionar este problema, puedes intentar ejecutar el mismo comando “aws s3 sync” en la CLI con la opción “–dryrun” para ver exactamente qué archivos se están copiando y desde dónde. Esto puede ayudar a verificar la ruta y los nombres de las claves correctos.
En el “S3CopyObjectOperator”, asegúrate de que el parámetro “source_bucket_key” incluya la ruta completa de los archivos que deseas copiar, incluyendo cualquier prefijo o carpeta. Además, verifica que las credenciales de la cuenta utilizadas por la conexión “aws_default” tengan acceso para leer desde el cubo “client_export” y escribir en el cubo “bi-dev”.
Si el problema persiste, es posible que necesites investigar más a fondo los registros de errores de AWS S3 o consultar la documentación y los recursos de soporte para la API de S3 y el “S3CopyObjectOperator” de Airflow.