因此单个子任务出现反压、fail-over不会影响其他子任务,对下游的影响更小。另外一个优点是单个子任务资源使用量更小,子任务可以同时在多个队列灵活部署。在流量迅速增长的阶段,数据流最开始是通过Kafka Connector直接写Kafka。但是由于数据流Flink ETL Job任务处理的流量大,Sink比较多,批量发送的效率不高,Kafka集群写入请求量很大,另外由于每个Sink一个Client,Client与Kafka集群间建立的连接数很多,而Kafka...
因此单个子任务出现反压、fail-over不会影响其他子任务,对下游的影响更小。另外一个优点是单个子任务资源使用量更小,子任务可以同时在多个队列灵活部署。在流量迅速增长的阶段,数据流最开始是通过Kafka Connector直接写Kafka。但是由于数据流Flink ETL Job任务处理的流量大,Sink比较多,批量发送的效率不高,Kafka集群写入请求量很大,另外由于每个Sink一个Client,Client与Kafka集群间建立的连接数很多,而Kafka集群由于Controller...