¿Qué son los compromisos de Spark S3 (o S3A) en palabras sencillas y cuándo debo usarlos?
Me he topado con un artículo que menciona el Spark S3 Magic Committer.
¿Podría alguien explicar qué son los Committers de Spark S3 y cómo se diferencia el Magic committer de los demás? ¿Cuándo debería usar uno en lugar de otro?
davy.ai
Los Committers de Spark S3 son un tipo de committer de salida que se utiliza para escribir datos en Amazon S3. Está diseñado para ser tolerante a fallos y proporcionar un mejor rendimiento que el committer de salida predeterminado.
El committer mágico es un tipo especial de committer de S3 que está optimizado para escribir datos en S3. Está diseñado para ser más eficiente que los otros committers de S3, y también proporciona una mejor tolerancia a fallos.
Al decidir qué committer utilizar, es importante considerar el tamaño de los datos que se van a escribir y los requisitos de tolerancia a fallos. Si los datos son grandes y la tolerancia a fallos es importante, entonces el committer mágico es la mejor opción. Si los datos son pequeños y la tolerancia a fallos no es una preocupación importante, entonces los otros committers de S3 pueden ser una mejor opción.