如何在Couchbase-Spark Connector中配置FailFastRetryStrategy避免无限重试循环

使用Couchbase-Spark Connector时，当Couchbase实例未运行或作业运行期间连接断开，应用会陷入无限重试循环，日志中充斥着TimeoutException和EndpointConnectionFailedEvent错误，日志片段如下：

[info] 15:14:46.305|WARN | com.couchbase.endpoint [...] TimeoutException: Did not observe any item or terminal signal within 1000ms in 'source(MonoDefer)' (and no fallback has been configured)
[info] 15:14:47.322|WARN | com.couchbase.endpoint [...] Connect attempt 1 failed because of TimeoutException: Did not observe any item or terminal signal within 1000ms in 'source(MonoDefer)' (and no fallback has been configured)
...
[info] 15:14:47.322|WARN | com.couchbase.endpoint [...] Connect attempt 100 failed because of TimeoutException: Did not observe any item or terminal signal within 1000ms in 'source(MonoDefer)' (and no fallback has been configured)

推测该行为由默认的BestEffortRetryStrategy导致，希望改为FailFastRetryStrategy，确保Couchbase不可达时Spark作业快速失败。

尝试在Spark配置中设置重试策略：

val sparkConf = new SparkConf()
.setAppName("test")
.set("spark.couchbase.retryStrategy", "FailFastRetry")

但出现错误：

Caused by: com.couchbase.client.core.error.InvalidArgumentException: Expected a value Jackson can bind to interface com.couchbase.client.core.retry.RetryStrategy but got "FailFastRetry".

询问如何在Couchbase-Spark Connector中正确配置FailFastRetryStrategy，避免无限重试循环。

问题出在配置值的类型绑定上，Couchbase要求配置重试策略时指定完整的类全名，而非简写。以下是两种正确的配置方式：

1. 通过Spark配置参数指定全限定类名 #

直接在SparkConf中设置策略的完整类路径：

val sparkConf = new SparkConf()
  .setAppName("test")
  .set("spark.couchbase.retryStrategy", "com.couchbase.client.core.retry.FailFastRetryStrategy")

2. 显式构建ClusterEnvironment配置重试策略 #

如果需要更灵活的控制，可以手动构建ClusterEnvironment，指定重试策略后传入Spark配置：

import com.couchbase.client.core.retry.FailFastRetryStrategy
import com.couchbase.client.java.env.ClusterEnvironment

val env = ClusterEnvironment.builder()
  .retryStrategy(FailFastRetryStrategy.INSTANCE)
  .build()

val sparkConf = new SparkConf()
  .setAppName("test")
  .set("spark.couchbase.env", env)

补充说明 #

• FailFastRetryStrategy会在首次操作失败后立即终止，不进行任何重试，完全符合Couchbase不可达时快速失败的需求。
• 确保Couchbase-Spark Connector版本与Couchbase Java SDK版本兼容，避免因版本差异导致配置不生效。

内容的提问来源于stack exchange，提问作者kkurt