Tag: PYSPARK
Tengo una base de datos que contiene muchas tablas. Quiero eliminar todas las tablas en esa base de datos que tienen “oct” en el nombre en un lote. ¿Existe alguna manera de hacer esto? No puedo encontrar una respuesta clara en línea y no quiero cometer un error y eliminar . . . Read more
Estoy utilizando Azure Databricks para analizar algunos datos. Tengo la siguiente estructura de carpetas en el almacenamiento de blob: carpeta_1\n1 archivo csv carpeta_2\n2 archivos csv .. carpeta_k\nk archivos csv Deseo leer estos archivos, ejecutar un algoritmo (relativamente sencillo) y escribir algunos archivos de registro y archivos de imágenes para cada . . . Read more
Lo que estoy haciendo es llenar los valores nulos dentro de un dataframe con una matriz en un entorno de transmisión. Mi situación es la siguiente: Necesito llenar el valor nulo con la matriz en la última fila, la que tiene el id = -1. Lo que he intentado hacer . . . Read more
Nuevo en Pyspark, me gustaría eliminar algunas palabras vacías en francés de una columna de Pyspark. Debido a algunas restricciones, no puedo usar NLTK/Spacy, la única opción que tengo es utilizar el StopWordsRemover. A continuación, se muestra lo que he intentado hasta ahora sin éxito. from pyspark.ml import * from . . . Read more
He estado experimentando con el uso de diferentes métodos de encriptación y almacenando claves en el alcance secreto de Databricks. He estado intentando implementar esto: https://cryptography.io/en/latest/hazmat/primitives/aead/#cryptography.hazmat.primitives.ciphers.aead.AESGCM Entonces ejecuto: key = AESGCM.generate_key(bit_length=128) La operación anterior devuelve bytes (ejemplo: b’dfh576748′). Luego guardo este valor en el alcance secreto, pero sigue dando un . . . Read more