Tag: DASK-DISTRIBUTED
Tengo el siguiente código que ejecuta dos entrenamientos de TensorFlow en paralelo utilizando trabajadores de Dask implementados en contenedores Docker. Necesito lanzar dos procesos, utilizando el mismo cliente de Dask, donde cada uno entrenará sus respectivos modelos con N trabajadores. Para lograr esto, hago lo siguiente: – Utilizo <code>joblib.delayed</code> para . . . Read more
Entonces supongamos que la configuración del registro para 3 servidores en el algoritmo Raft es la siguiente: S1 -> 3 S2 -> 3 3 4 S3 -> 3 3 5 Esta configuración puede surgir si, digamos, S3 es el líder en el término 3 y la entrada se ha confirmado . . . Read more
Estoy investigando cómo realizar comunicación punto a punto con varias GPUs en nodos separados en PyTorch. A partir de la versión 1.10.0, la página de documentación de PyTorch muestra signos de interrogación para send y recv en la GPU con el backend de MPI. ¿Qué significa esto? Si alguien ha . . . Read more
He creado una red de nodos descentralizada utilizando WebSockets con el uso de Nodejs. Me gustaría visualizar esta red con un gráfico. Para visualizar toda la red, necesito que todos los nodos estén conectados entre sí, pero hay un problema: en la red descentralizada no hay un punto central. ¿Cómo . . . Read more
Necesito implementar la siguiente arquitectura: Tengo un gran Pedido que debe dividirse en pedidos más pequeños (paralelos) y enviarlos a un punto final asíncrono de REST descendente. El API de ordenación descendente publica un mensaje en una cola de respuesta (kafka/rabbitmq) después de completar el pedido (fallido o exitoso) con . . . Read more