Flink

Flink Task Deploy & Task Failover
整体介绍下Flink中TaskDeploy&Recovery的整体流程
Flink StateBackend:State In Join
关于FlinkState在IntervalJoin中的应用。
Flink StateBackend:Checkpoint Recover
FlinkStateRecovery实现细节主要在StreamTaskStateInitializerImpl.streamOperatorStateContext()中。
Flink StateBackend:Checkpoint Snapshot
Snapshot由ExecutionGraph.CheckpointCoordinator来触发,StreamInputProcessor中做完Barrier对齐之后,会调用Operator的snapshotState来做Checkpoint。
Flink StateBackend:概述
FlinkState主要涉及到两方面:作业运行时State如何维护(内存VS磁盘,数据如何组织),Checkpoint快照/恢复时,如何快照/恢复State数据。而StateBackend主要就是定义了上面两方面的……
Flink NetworkBuffer 动态申请
Flink中NetworkBuffer相关配置对用户来说比较复杂,用户很难去配置一个合理的值,使用过程中主要以下两方面问题:NetworkBuffer不够导致的作业启动失败,大部分作业NetworkBuffer浪……