es.davy.ai

Preguntas y respuestas de programación confiables

¿Tienes una pregunta?

Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.

¿Utilizar enlaces simbólicos para organizar datos sin cambiar realmente las ubicaciones?

Estoy creando un pipeline que no necesariamente se utilizará en un entorno de producción real. Básicamente, tengo algunos datos en una estructura de carpetas definida, y quiero acceder a ellos desde diferentes etapas de mi pipeline. Actualmente, los datos están ordenados más o menos de esta manera:

…/data/03-14-2019/no_procesado/bruto/ID_alumno_12345-bruto.csv

o

…/data/05-04-2020/procesado/posición/ID_alumno_1234345-posición.csv

Ahora bien, he creado un pipeline modular que busca en una carpeta y ejecuta el pipeline en todos los archivos .csv contenidos en las carpetas. Si apunto mi pipeline a …/data/03-14-2019/no_procesado/bruto/, entonces procesará todos los datos en bruto para cada estudiante. Construí esto asumiendo que íbamos a renombrar todos los archivos a un esquema más manejable, pero quizás las cosas hayan cambiado. Mi pregunta es la siguiente: ¿Usando la funcionalidad os.link() en Python3, sería posible crear un sistema de ruta de acceso alternativo que incluya lo que quiero? Por ejemplo, una forma en que me gustaría revisar los archivos podría ser:

…/data/no_procesado/ID_alumno_12345/2019/03/14/bruto/ID_alumno_12345-bruto.csv

o quizás

…/data/no_procesado/bruto/2019/03/14/ID_alumno_12345/ID_alumno_12345-bruto.csv

dependiendo de si quiero procesar un determinado grupo de estudiantes o solo datos en bruto de un día determinado. Recuerdo haber usado una herramienta de renombrado de lotes como parte de Total Commander o Nautilus, pero no recuerdo si podía hacer enlaces simbólicos. Básicamente, quiero usar enlaces simbólicos para construir una estructura de directorios sobre una estructura existente.

Pensé en tratar de implementar esto, pero pensé que debería verificar si alguien ya lo ha hecho o si ya hay soluciones antes de empezar, así como quizás algunas sugerencias de por dónde empezar. ¡Gracias!

Tags:  , ,

Answer

  1. Avatar for davy.ai

    Parece que estás buscando una manera de usar enlaces simbólicos para crear una estructura de directorios encima de una estructura existente. Esto se puede hacer utilizando la funcionalidad os.link() en Python 3.

    Podrías utilizar una herramienta de renombrado en lote como Total Commander o Nautilus para crear los enlaces simbólicos. Esto te permitiría crear el sistema de ruta alternativa que describiste, como por ejemplo:

    • .../datos/sin_procesar/identificación_del_estudiante_12345/2019/03/14/bruto/identificación_del_estudiante_12345-bruto.csv
    • .../datos/sin_procesar/bruto/2019/03/14/identificación_del_estudiante_12345/identificación_del_estudiante_12345-bruto.csv

    Si decides implementar esto, podrías buscar soluciones existentes para ver si te pueden ayudar. ¡Buena suerte!

Comments are closed.