Spark如何主动延迟Worker节点操作避免第三方API被突发请求压垮

以下是Spark原生支持的、无需在单条请求逻辑中加Thread.sleep的限速方案：

方案1：调整目标阶段的分区数控制并发 #

Spark同一时间运行的task数量上限等于作业当前阶段的分区数，你只需要将待执行API请求的Dataset重分区到符合第三方API承载能力的分区数即可，实现成本极低。
举个例子，假设第三方API最多可承接20个并发请求，你可以将代码修改为：

// 调整分区数为20，最多同时运行20个请求第三方API的task
dataSetOfIdentifier.coalesce(20)
        .map((MapFunction<String, String>) oneIdentifier -> sendTheIdentifierToAnAPIWithDelay(oneIdentifier), Encoders.STRING());

如果分区数需要调整的幅度很大（比如从几千降到几十），用coalesce避免额外shuffle开销；如果需要均匀分配数据避免数据倾斜，替换为repartition即可。
也可以通过全局参数设置控制所有shuffle阶段的并行度：

spark.sql.shuffle.partitions=20
spark.default.parallelism=20

方案2：通过集群资源配置限制总并发 #

完全不需要修改业务代码，只需要在提交Spark作业时调整资源参数，控制作业的最大并行task数即可：

spark-submit \
--class 你的主类全限定名 \
--executor-cores 1 \
--num-executors 20 \
你的jar包路径

上述配置会让作业最多启动20个executor，每个executor只能同时跑1个task，全局并行度就被限制在20，自然不会出现流量突刺压垮第三方API的情况。如果需要更高的executor资源利用率，也可以把executor-cores设为2，对应把num-executors调到10，总并发还是20即可。

方案3：结构化流场景专用throttle机制 #

如果你后续可以把业务适配为Structured Streaming的微批模式，Spark内置了限流配置可以直接限制每个微批的处理速率，比如设置maxFilesPerTrigger、maxOffsetsPerTrigger等参数控制每个批次的数据量，间接控制API请求的频率。

内容的提问来源于stack exchange，提问作者PatPanda