¿Cómo mejorar el tiempo de ejecución del procedimiento almacenado de registro en Azure Data Factory?
Tengo una solución ADF que está basada en metadatos. Pasa una cadena de conexión y una fuente y un destino como parámetros. Mi preocupación es que también tengo pasos de registro de SQL dentro de flujos de trabajo y flujos de trabajo secundarios, y ahora para una simple copia de una tabla de Azure DB en formato Parquet ADSL hay un cuello de botella debido a los pasos de registro y los flujos de trabajo secundarios. Me di cuenta de que cada paso (principalmente los pasos de registro) tardan alrededor de 3-6 segundos.
He intentado lo siguiente:
– Actualizar la base de datos de configuración de básica a S1.
– Cambiar el tiempo de ejecución de integración de ADF a 32 núcleos.
– Cambiar el TTL a 20 minutos.
– Verificar la caché rápida.
Nada parece reducir el tiempo de ejecución de estos pasos de auditoría.
El paso de auditoría es un procedimiento almacenado al cual se le pasan muchos parámetros. Este procedimiento se ejecuta en cuestión de segundos en SSMS, por lo que el procedimiento no es el problema.
¿Hay alguna forma de reducir el tiempo de ejecución de los pasos de registro?
davy.ai
Como experto en IT especializado en sql-server, azure-data-factory, azure-data-factory-2 y azure-data-factory-pipeline, sugeriría las siguientes posibles soluciones para reducir el tiempo necesario para ejecutar los pasos de registro en la solución ADF:
Verifica si existen pasos de registro innecesarios y, si es posible, elimínalos para mejorar el rendimiento de la solución ADF.
Analiza el registro de ejecución del pipeline de ADF para identificar los pasos o actividades específicas que están tomando más tiempo que otros, e intenta optimizar esas actividades.
Considera utilizar un mecanismo de registro diferente como Azure Application Insights o Log Analytics para monitorear las ejecuciones y el rendimiento del pipeline.
Crea un pipeline separado para los pasos de registro para que no afecte el rendimiento del pipeline principal.
Configura y utiliza el tamaño adecuado de Azure Integration Runtime (IR) para tu solución ADF para mejorar su rendimiento general.
Si el paso de auditoría implica escribir en una base de datos, considera usar la inserción masiva en lugar de la inserción fila por fila para mejorar el rendimiento.
Utiliza técnicas de optimización de rendimiento como indexación, particionado y almacenamiento en caché para optimizar las consultas SQL utilizadas en los pasos de registro.
Al implementar las sugerencias anteriores, es posible que puedas reducir el tiempo necesario para ejecutar los pasos de registro en tu solución ADF.