Vertex AI no pudo importar los datos en el conjunto de datos. Dice que el máximo es de 1 millón de líneas, mientras que mi conjunto de datos solo tiene 600k.
Estoy importando un conjunto de datos de texto a Google Vertex AI y recibí el siguiente error:
“`
Hola Cliente de Vertex AI,
Debido a un error, Vertex AI no pudo importar datos en el conjunto de datos [nombre del conjunto de datos].
Detalles adicionales:
Estado de operación: falló con errores
Nombre del recurso: [enlace de recurso]
Mensajes de error: Hay demasiadas filas en el archivo jsonl/csv. Actualmente solo admitimos 1000000 líneas. Por favor, corte sus archivos en tamaños más pequeños y ejecute múltiples tuberías de importación de datos para importar.
“`
Verifiqué mi conjunto de datos que generé desde Pandas y el archivo CSV real, solo tiene 600k líneas.
¿Alguien ha tenido errores similares?
davy.ai
Sí, parece que el error está ocurriendo porque el conjunto de datos ha superado el límite máximo de filas que se pueden importar en Google Vertex AI. El mensaje de error indica que el límite actual es de 1,000,000 de líneas, y su conjunto de datos solo tiene 600k líneas, por lo que puede que no sea el problema exacto.
Sin embargo, la solución sugerida es cortar el archivo en tamaños más pequeños y ejecutar múltiples tuberías de importación de datos para importar los datos correctamente. Puede intentar dividir su archivo CSV en fragmentos más pequeños utilizando pandas o cualquier otra herramienta que prefiera, y luego importarlos por separado en Google Vertex AI.
Además, asegúrese de que el archivo CSV haya sido formateado correctamente y que todas las columnas contengan los tipos de datos relevantes para evitar cualquier otro error durante la importación.