es.davy.ai

Preguntas y respuestas de programación confiables

¿Tienes una pregunta?

Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.

Tag: UNBOUNDED-WILDCARD

Error de Snakemake: “No todos los archivos de salida, registro y referencia de la regla contienen los mismos comodines.”

Tengo un archivo Snake mínimo como prueba/demo, pero seguía produciendo errores: No todos los archivos de salida, registro y referencia de la regla test contienen los mismos caracteres comodines. Aquí está el contenido del snakefile: samples = [‘A’, ‘B’, ‘C’] rule test: input: “mapped/{sample_name}.fsa”, sample_name=samples output: “mapped/{sample_name}_out.fsa”, sample_name=samples shell: “cp . . . Read more

Error de Snakemake en el clúster: el objeto “Wildcards” no tiene el atributo “output”.

Me encuentro con un error de que el objeto ‘Wildcards’ no tiene el atributo ‘output’, similar a esta pregunta anterior (https://stackoverflow.com/questions/64318645/wildcards-object-has-no-attribute-output), cuando envío Snakemake a mi clúster. Me preguntaba si tienes alguna sugerencia de cómo hacerlo compatible con el clúster. Si bien mi regla “annotate_snps” funciona cuando la pruebo localmente, . . . Read more

Cómo leer archivos Parquet en pyspark desde un bucket de s3 cuya ruta es parcialmente impredecible?

Mis rutas tienen el siguiente formato s3://mi_cubo/timestamp=año-mes-día HH:MM:SS/. Por ejemplo, s3://mi-cubo/timestamp=2021-12-12 12:19:27/, sin embargo, la parte MM:SS no es predecible y me interesa leer los datos de una hora determinada. Intenté lo siguiente: df = spark.read.parquet("s3://mi-cubo/timestamp=2021-12-12 12:*:*/") df = spark.read.parquet("s3://mi-cubo/timestamp=2021-12-12 12:[00,01-59]:[00,01-59]/") pero me dan el error pyspark.sql.utils.IllegalArgumentException: java.net.URISyntaxException.