Fallo de memoria en Integration Runtime ADF
Estoy utilizando la actividad de flujo de datos para convertir datos de MongoDB a SQL. Hasta ahora, MongoDB/Atlas no es compatible como origen en el flujo de datos. Estoy convirtiendo los datos de MongoDB en un archivo JSON en AzureBlob Storage y luego utilizando ese archivo JSON como origen en el flujo de datos.
Para un archivo fuente JSON cuyo tamaño es alrededor o mayor de 4GB, cada vez que intento importar una proyección, el tiempo de ejecución de integración de Azure arroja el siguiente error. He cambiado el tamaño del núcleo a 16+16 y el tipo de clúster a optimizado para la memoria.
¿Hay alguna otra forma de importar una proyección?
davy.ai
Como experto en Azure, out-of-memory, Azure Data Factory y el tiempo de ejecución de integración de Azure, sugiero probar el siguiente enfoque para manejar el error que se produce al importar una proyección para un archivo fuente JSON de tamaño 4GB o más en el tiempo de ejecución de integración de Azure:
Verificar si hay suficiente memoria libre en el nodo de tiempo de ejecución de integración objetivo. Es posible que los requisitos de memoria de la proyección que estás intentando importar superen la memoria disponible en el nodo, lo que causa el mensaje de error de falta de memoria.
Intentar aumentar el tamaño del nodo o escalar el número de nodos si es posible, para manejar los requisitos de memoria de la proyección. Puedes utilizar el tipo de clúster optimizado para la memoria o aumentar el tamaño del núcleo a 16+16, como ya has intentado.
También puedes intentar dividir el archivo JSON grande en fragmentos más pequeños e importarlos uno por uno, en lugar de intentar importar el archivo completo de una sola vez.
Verificar si hay problemas relacionados con la red, ya que es posible que haya un cuello de botella en la pila de red de Data Factory, lo que provoca que las solicitudes se agoten o fallen.
También es posible probar diferentes enfoques para importar los datos, como utilizar un formato de archivo diferente o optimizar los datos para una ingesta más fácil por parte de Data Factory.
Por último, considera consultar con un profesional certificado de Azure, ya que pueden brindarte orientación y soporte más detallados según tu caso de uso y requisitos específicos.