es.davy.ai

Preguntas y respuestas de programación confiables

¿Tienes una pregunta?

Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.

Tag: APP-STORE-OPTIMIZATION

Unir eficientemente una tabla grande (1TB) con otra tabla pequeña (250GB) en Spark

Hay un conjunto de datos enorme de tamaño 1TB y otro conjunto de datos de tamaño 250GB. La configuración actual es la siguiente: “`spark.conf.set(“spark.sql.autoBroadcastJoinThreshold”, -1) //Como estaba obteniendo una timeoutException var masterDfPrimary: DataFrame = spark.read //Conjunto de datos enorme .format("com.databricks.spark.sqldw") .options(readAdwMap) //Detalles de conexión y tabla pasados como parámetro .load().persist(StorageLevel.DISK_ONLY) . . . Read more

Añadiendo nodos a un grafo desconectado con el objetivo de conectar totalmente los componentes del grafo, bajo restricciones de distancia entre nodos.

Tengo un grafo donde cada nodo tiene una posición espacial dada por (x, y), y las aristas entre los nodos solo están conectadas si la distancia euclidiana entre cada nodo es sqrt(2) o menos. Aquí está mi ejemplo: import networkx G = nx.Graph() G.add_node(1, pos=(1,1)) G.add_node(2, pos=(2,2)) G.add_node(3, pos=(1,2)) G.add_node(4, . . . Read more