No se puede iniciar un multiprocessing Pool en una tarea dask.

Estoy tratando de calcular un gráfico personalizado de dask en un clúster remoto utilizando el método Client.get, pero me he encontrado con el siguiente error: AssertionError: no se permiten procesos daemon con hijos.

Me di cuenta de que uno de los métodos subyacentes en el gráfico de dask utiliza un grupo de procesos, lo que provoca que se genere este error, ya que dask también intenta utilizar un grupo de procesos. Así que la forma en que solucioné esto fue usando un LocalCluster y pasando el argumento processes=False. Sin embargo, lo desafortunado es que dask no me permite pasar process=False si estoy usando un Client conectado a un clúster remoto, y tampoco funciona inicializar los workers remotos con el argumento –nprocs=1.

En definitiva, puedo ejecutar el gráfico, pero es bastante frustrante que no pueda utilizar las capacidades de multiprocessing al calcular el gráfico de dask y no pueda usar clústeres remotos. ¿Alguna idea sobre cómo implementar uno (o tal vez ambos) de estos requisitos?

Gracias de antemano.

Muestra de código

Esto es lo que pretendía hacer, pero se generó la AssertionError:

from multiprocessing import Pool
from dask.distributed import Client

client = Client(<alguna-dirección-ip-remota-aquí>)

def foo():
    pool = Pool()  # la excepción se genera aquí, en la inicialización del objeto Pool
    ... hace algo aquí ...
    retorna True

graph = {'resultado': foo}

client.get(graph, 'resultado')

Esto es cómo lo “arreglé”, eliminando las capacidades de multiprocessing y configurando un clúster local:

“`
from multiprocessing import Pool
from dask.distributed import Client

client = Client(processes=False) # esto proporciona un LocalCluster que no tiene capacidades de multiprocessing (la documentación es muy breve y no muy útil: http://distributed.dask.org/en/stable/api.html#distributed.LocalCluster)

def foo():
pool = Pool() # no se genera ninguna excepción
… hace algo aquí …
retorna True

graph = {'resultado': foo}

client.get(graph, 'resultado')

“`</alguna-dirección-ip-remota-aquí>