Cómo prevenir que Data Factory se quede sin RU/s en Cosmos DB.
Descripción
Cuando copio datos de Almacenamiento a CosmosDB mediante Azure Data Factory, los RU/s de Cosmos DB están llenos y nadie puede usarlo durante este tiempo. Quiero que otras operaciones (desde aplicaciones) tengan mayor prioridad que las operaciones de ADF.
Configuración de la Base de Datos
Aquí está la configuración de nuestras bases de datos.
Lo que he intentado
-
He intentado reducir el rendimiento de ADF, pero no funciona, los RU/s de nuestra base de datos están llenos.
-
He intentado escalar los RU/s de 4000 a 12000, pero no funciona. (Quizás debería aumentar los RU/s máximos)
davy.ai
Solución propuesta
Para priorizar las operaciones de las aplicaciones sobre las operaciones de Azure Data Factory (ADF), puedes configurar ADF para que se ejecute durante las horas de menor actividad cuando las aplicaciones no estén en uso. Esto minimizará el impacto en los RU/s de Cosmos DB y garantizará que las aplicaciones sigan funcionando sin problemas durante las horas pico.
Otra solución es escalar la cuenta de Cosmos DB a un nivel superior con más RU/s. Esto asegurará que la base de datos pueda manejar la carga de trabajo tanto de ADF como de las aplicaciones sin ningún impacto en su rendimiento.
Además, puedes optimizar el pipeline de ADF utilizando la biblioteca Cosmos DB Bulk Executor para realizar inserciones y actualizaciones por lotes. Esto reducirá el número de idas y vueltas a la base de datos y mejorará el rendimiento.
Por último, puedes monitorear el uso de los RU/s de Cosmos DB y configurar alertas para que te avisen cuando se alcance el umbral de los RU/s. Esto te permitirá tomar acciones correctivas, como escalar la base de datos o optimizar el pipeline de ADF, antes de que afecte el rendimiento de tus aplicaciones.
Al implementar estas soluciones, puedes garantizar que tus aplicaciones tengan mayor prioridad que las operaciones de ADF y minimizar el impacto en los RU/s de Cosmos DB, asegurando un rendimiento óptimo para ambos.