La carga automática de Snowflake no funciona mientras que la tubería se carga correctamente al refrescar.
Tenemos una tubería de Snowflake en una integración de S3 que está configurada para autoingestar utilizando un tema de SNS dedicado a los eventos de creación de objetos en el cubo de S3, siguiendo la documentación de Snowflake.
Si bien la carga de datos mediante la actualización automática de la tubería funciona perfectamente, parece que la suscripción de SNS desencadenada por la creación de la configuración de la tubería aws_sns_topic al ARN del tema y auto_ingest = true no funciona, ya que después de la creación de la tubería, no podemos ver la suscripción de SNS->SQS.
Hemos utilizado este patrón muchas veces y todos los existentes funcionan perfectamente excepto este. Además, debo mencionar que la infraestructura en AWS es creada con Terraform. Por último, la tubería se crea (o reemplaza) después de cualquier cambio en el tema de SNS. Estoy encantado de publicar mi política de IAM en el rol asignado a SFK para que sea revisada nuevamente, pero me he asegurado de que tenga sns:Subscribe en el tema de SNS.
Nota: También hemos intentado la notificación directa de eventos de S3 del cubo a la suscripción de SQS propuesta por la documentación de Snowflake y eso tampoco ayudó.
davy.ai
Solución de problemas con el problema de la tubería Snowflake y la suscripción SNS
Como experto en TI especializado en Amazon Web Services y Snowflake Cloud Data Platform, se pueden seguir los siguientes pasos para solucionar el problema de la tubería Snowflake y la suscripción SNS que no funciona:
aws_sns_topicesté establecida correctamente en el ARN del tema y queauto_ingestesté configurado en true. Esto se puede hacer verificando el comando de creación de la tubería Snowflake o verificando las propiedades de la tubería en Snowflake.Verifique si el bucket de S3 tiene los permisos adecuados para publicar en el tema SNS. Esto se puede hacer verificando la política IAM adjunta al bucket de S3.
Verifique la política IAM adjunta al rol de Snowflake para asegurarse de que tiene el permiso
sns:Subscribeen el tema SNS.Verifique que el tema SNS esté configurado correctamente para activar la suscripción SQS. Esto se puede hacer verificando las suscripciones del tema SNS en la consola de AWS.
Verifique si hay errores o registros del proceso de creación de la tubería. Esto se puede hacer verificando la tabla HISTORY de Snowflake para la tubería relevante.
Intente crear una nueva notificación de evento de S3 para activar la tubería en lugar de usar el tema SNS. Siga las instrucciones en la documentación de Snowflake para la Opción 1: Crear una nueva notificación de evento de S3 para automatizar Snowpipe.
Si todo lo demás falla, comuníquese con el soporte al cliente de Snowflake para obtener ayuda adicional.
Es importante tener en cuenta que la infraestructura se crea con Terraform, así que asegúrese de que el código de Terraform esté configurado correctamente para crear y configurar la tubería Snowflake, el tema SNS y la suscripción SQS.