es.davy.ai

Preguntas y respuestas de programación confiables

¿Tienes una pregunta?

Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.

Tag: PYSPARK

Eliminar tablas por lotes (Pyspark)

Tengo una base de datos que contiene muchas tablas. Quiero eliminar todas las tablas en esa base de datos que tienen “oct” en el nombre en un lote. ¿Existe alguna manera de hacer esto? No puedo encontrar una respuesta clara en línea y no quiero cometer un error y eliminar . . . Read more

Azure Databricks: Bucle paralelo en Python

Estoy utilizando Azure Databricks para analizar algunos datos. Tengo la siguiente estructura de carpetas en el almacenamiento de blob: carpeta_1\n1 archivo csv carpeta_2\n2 archivos csv .. carpeta_k\nk archivos csv Deseo leer estos archivos, ejecutar un algoritmo (relativamente sencillo) y escribir algunos archivos de registro y archivos de imágenes para cada . . . Read more

Eliminar stopwords específicas de Pyspark

Nuevo en Pyspark, me gustaría eliminar algunas palabras vacías en francés de una columna de Pyspark. Debido a algunas restricciones, no puedo usar NLTK/Spacy, la única opción que tengo es utilizar el StopWordsRemover. A continuación, se muestra lo que he intentado hasta ahora sin éxito. from pyspark.ml import * from . . . Read more

Cómo leer el valor de byte de un alcance secreto de Databricks.

He estado experimentando con el uso de diferentes métodos de encriptación y almacenando claves en el alcance secreto de Databricks. He estado intentando implementar esto: https://cryptography.io/en/latest/hazmat/primitives/aead/#cryptography.hazmat.primitives.ciphers.aead.AESGCM Entonces ejecuto: key = AESGCM.generate_key(bit_length=128) La operación anterior devuelve bytes (ejemplo: b’dfh576748′). Luego guardo este valor en el alcance secreto, pero sigue dando un . . . Read more