Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.
Hola, estoy planeando usar Flink como backend para mi función en la que mostraremos una interfaz de usuario al usuario para crear patrones de eventos de forma gráfica, por ejemplo: múltiples intentos de inicio de sesión fallidos desde la misma dirección IP. Crearemos el patrón de Flink programáticamente utilizando los . . . Read more
En este momento tenemos un trabajo flink en ejecución que contiene estados clave cuyo paralelismo máximo está establecido en 128. A medida que nuestros datos crecen, nos preocupa que 128 ya no sea suficiente en el futuro. Quiero saber si hay alguna forma de cambiar el paralelismo máximo modificando el . . . Read more
//抓包 DataStream<byte[]> logSource = env.addSource(new PacpParalleSourceFunction()).setParallelism(CAPTURE_PACKAGE_PARALLELISM); //解析 XmlLogParse xmlLogParse = new XmlLogParse(); DataStream<jsonobject> objectDataStream = logSource.map(new Log2ObjFunction(xmlLogParse)).setParallelism(PARSE_LOG_PARALLELISM); //写csv La paralelización del operador no paralelo debe ser 1 LogStorage logStorage = new WriteFileStorage(); objectDataStream.countWindowAll(ConstantField.BATCH_DEAL_COUNT).apply( new AllWindowFunction<jsonobject, object,=”” globalwindow=””>() { @Override public void apply(GlobalWindow globalWindow, Iterable<jsonobject> iterable, Collector<object> collector) throws Exception { . . . Read more
Seguí (https://stackoverflow.com/questions/49122170/zip-compressed-input-for-apache-flink?newreg=4dce460b71504a16ab651b171da287de) y escribí el siguiente fragmento de código para procesar archivos de registro .gz en un directorio con un simple TextInputFormat. Funciona en mi directorio de prueba local, escanea y abre automáticamente el contenido del archivo .gz. Sin embargo, cuando lo ejecuto con una fuente de cubo de S3, . . . Read more
Estoy tratando de utilizar OneInputStreamOperatorTestHarness de Apache Flink (org.apache.flink.streaming.util.OneInputStreamOperatorTestHarness), pero IntelliJ no puede resolver el símbolo. He seguido la documentación oficial, este blog oficial en el sitio web de Flink y esta pregunta en Stack Overflow.