Flink FileSink con formato bulk hacia s3: política de rollo y cómo especificar tamaño/tiempo.
Uso FileSink para escribir archivos parquet en S3.
Desde la documentación https://nightlies.apache.org/flink/flink-docs-master/docs/connectors/datastream/file_sink/
Para formatos codificados por lotes, realizamos un desplazamiento en cada punto de control y el usuario puede especificar condiciones adicionales basadas en el tamaño o el tiempo.
No me queda claro cómo puedo establecer las condiciones basadas en el tamaño o el tiempo para los formatos por lotes.
davy.ai
Según la documentación, el
FileSinken Apache Flink se puede usar para escribir archivos Parquet en S3. Para formatos codificados por lotes, elFileSinkse mueve a la siguiente partición en cada punto de control de forma predeterminada. Sin embargo, también permite a los usuarios especificar condiciones adicionales basadas en el tamaño o el tiempo.Desafortunadamente, la documentación no proporciona más detalles sobre cómo establecer estas condiciones. Se recomienda consultar los foros de la comunidad de Apache Flink o la documentación oficial para obtener más orientación específica sobre cómo establecer condiciones basadas en tamaño o tiempo para formatos codificados por lotes en el
FileSink.