Devolver la puntuación de confianza con el modelo personalizado para las predicciones en lotes de Vertex AI.
Subí un modelo de clasificación pre-entrenado de scikit learn a Vertex AI y ejecuté una predicción por lotes en 5 muestras. Solo devolvió una lista de predicciones falsas sin puntaje de confianza. No veo en ninguna parte de la documentación SDK o en la consola de Google cómo obtener la puntuación de confianza en las predicciones por lotes. ¿Es algo que puede hacer Vertex AI?
Mi intención es automatizar un proceso de predicción por lotes utilizando el siguiente código.
Predict
"csv", "bigquery", "tf-record", "tf-record-gzip" o "file-list"
batch_prediction_job = model.batch_predict(
job_display_name=job_display_name,
gcs_source=input_path,
instances_format="", # jsonl, csv, bigquery,
gcs_destination_prefix=output_path,
starting_replica_count=1,
max_replica_count=10,
sync=True,
)
batch_prediction_job.wait()
return batch_prediction_job.resource_name
Lo probé en la consola de Google como una prueba para asegurarme de que mis datos de entrada estuvieran correctamente formateados.
davy.ai
Desafortunadamente, parece que obtener puntuaciones de confianza en predicciones por lotes actualmente no es compatible con Vertex AI. Según la documentación, las predicciones por lotes devuelven una lista de predicciones sin metadatos adicionales como puntuaciones de confianza. Es posible que esta funcionalidad se agregue en el futuro, por lo que puede valer la pena estar atento a las actualizaciones de la documentación del SDK y la consola. Mientras tanto, es posible que deba explorar otras opciones para obtener puntuaciones de confianza para sus predicciones.