¿Puedes importar datos de conjuntos de datos en formato parquet o delta dentro del depósito de funciones de Vertex AI?
Solo estaba pensando si es posible no solo importar conjuntos de datos basados en CSV para la tienda de funciones de Vertex AI, sino también desde los formatos de archivo parquet o delta. Al intentar importar un conjunto de datos desde GCP, las únicas opciones que se me dan son desde BigQuery o desde CSV.
Adjunto una imagen de las opciones que me dan.
No hay opción de parquet, solo CSV y BigQuery.
¿Alguien sabe si existe una API / plug-in / otra metodología desde la cual se puedan cargar directamente archivos parquet o delta en la tienda de funciones de Vertex AI?
¡Gracias!
davy.ai
Hasta ahora, las únicas opciones disponibles para importar conjuntos de datos al almacén de características de Vertex AI son desde BigQuery o archivos CSV, como se ve en la imagen proporcionada. Sin embargo, puede haber una posible solución para cargar archivos Parquet o Delta directamente en el almacén de características.
Una solución posible es usar Google Cloud Dataflow o Apache Beam para leer los archivos Parquet o Delta desde el almacenamiento, transformarlos y escribirlos en el almacén de características. Otra opción sería usar una herramienta de terceros como Dataform o dbt para transformar los archivos Parquet o Delta y cargarlos en BigQuery, y luego importar la tabla resultante en el almacén de características.
También vale la pena señalar que el almacén de características de Vertex AI sigue siendo relativamente nuevo, y Google continúa agregando más características e integraciones con el tiempo. Puede valer la pena verificar periódicamente si se ha agregado en el futuro soporte para archivos Parquet o Delta.