Tag: FOUNDRY-PYTHON-TRANSFORM
Tengo un código de PySpark que estoy escribiendo en el cual quiero ejecutar uniones y otras operaciones, pero quiero registrar cuando esta fase se complete exitosamente. ¿Por qué no veo esto registrado en el orden que esperaría? Parece que todo aparece al mismo tiempo incluso cuando mi trabajo continúa realizando . . . Read more
Estoy notando que mi repositorio de código me está advirtiendo que el uso de withColumn en un bucle for/while es considerado un anti-patrón. ¿Por qué no se recomienda esto? ¿No es este un uso normal de la API de PySpark?
He leído la documentación en Foundry sobre las diferencias entre los dos, pero me pregunto en qué circunstancias desearía aplicar el perfil STATIC_ALLOCATION a mi construcción para evitar que mis ejecutores sean preempted. ¿Hay alguna otra cosa de la que deba estar atento al ejecutar en modo de asignación dinámica?
Estoy empezando con un archivo zip grande de archivos CSV, que descomprimí en Palantir Foundry. Ahora tengo un conjunto de datos que consta de varios archivos CSV (uno para cada año), donde los archivos CSV tienen un esquema casi igual pero con algunas diferencias. ¿Cómo aplico un esquema a cada . . . Read more
Tengo un conjunto de datos que quiero repartir de manera equitativa en 10 cubetas por valor único de una columna, y quiero ajustar el tamaño de este resultado en un gran número de particiones para que cada una sea pequeña. Se garantiza que col_1 será uno de los valores en . . . Read more