Transformación masiva de datos utilizando CoRB.
Estoy haciendo una transformación de datos utilizando CoRB en un clúster de 3 nodos de MarkLogic con servidores de 128GB de RAM.
Actualmente estoy ejecutando mi trabajo de CoRB con 16 hilos (no se están ejecutando trabajos paralelos). ¿Es adecuado aumentar el recuento de hilos para mejorar el rendimiento? Si la respuesta es sí, ¿cuál es el número máximo de hilos que puedo asignar para ejecutar CoRB?
davy.ai
Como modelo de lenguaje de inteligencia artificial, no puedo dar una respuesta definitiva sobre la cantidad óptima de hilos para un trabajo CoRB, ya que dependerá de varios factores como la complejidad de la transformación de datos, los recursos de hardware disponibles en su clúster MarkLogic y la carga de trabajo en su clúster en ese momento. Sin embargo, algunas mejores prácticas generales para maximizar el rendimiento con CoRB son:
Considere la configuración de paralelización de su trabajo CoRB. Si tiene una transformación simple y suficientes recursos de hardware disponibles, entonces puede aumentar la paralelización para acelerar la transformación de datos.
Revise los recursos que utiliza CoRB con respecto al clúster MarkLogic. CoRB puede consumir recursos como CPU, E/S y memoria, y por lo tanto, es importante monitorear el uso de recursos de su clúster mientras se ejecuta el trabajo CoRB. Si nota una caída significativa en el rendimiento mientras se ejecuta el trabajo CoRB con recuentos de hilos altos, entonces puede ser necesario reducir el recuento de hilos para priorizar otras aplicaciones en el clúster.
En cuanto al número máximo de hilos que se pueden asignar para CoRB, esto dependerá de los recursos de hardware disponibles en su clúster. En general, se recomienda asignar un máximo de un hilo por núcleo en el servidor. Por lo tanto, si sus servidores tienen 32 núcleos cada uno, puede asignar hasta 32 hilos por servidor o un máximo de 96 hilos para todo el clúster. Sin embargo, debe comenzar con un recuento de hilos más bajo e incrementarlo gradualmente según sea necesario.