MySQL查询中止后Spark任务挂起问题求助

1. 强制设置JDBC连接的Socket与连接超时 #

mysql-connector-java默认socketTimeout为0（无限等待），这是查询中止后Spark任务挂起的核心原因——数据库断开连接后，驱动仍会一直等待socket数据。需在JDBC URL中添加以下参数：

jdbc_url = "jdbc:mysql://your-aurora-endpoint:3306/your_db?\
connectTimeout=300000&\
socketTimeout=2700000&\
autoReconnect=false&\
useSSL=true"

• connectTimeout=300000：限制连接建立超时为5分钟（单位毫秒）
• socketTimeout=2700000：与你设置的45分钟queryTimeout对齐，确保数据传输超时后立即终止连接
• autoReconnect=false：禁用自动重连，避免驱动在连接断开后尝试静默重连导致任务挂起

2. 补充Spark任务级超时配置 #

仅设置JDBC层面的超时还不够，需配置Spark的任务监控机制，确保执行器任务卡住时能被及时终止并重试：
在Spark配置中添加：

spark.task.maxFailures=3
spark.executor.heartbeatInterval=10s
spark.network.timeout=3000s
spark.sql.queryTimeout=2700

• spark.task.maxFailures：设置任务失败后的重试次数
• spark.executor.heartbeatInterval：缩短执行器向Driver发送心跳的间隔，更快检测任务异常
• spark.network.timeout：设置网络超时为50分钟（略长于queryTimeout），避免误判正常任务
• spark.sql.queryTimeout：全局设置SQL查询超时，与DataFrameReader的参数形成双重保障

3. 优化Aurora数据库参数 #

调整Aurora的连接超时参数，避免数据库主动断开正在执行的查询：
在RDS控制台修改参数组：

• wait_timeout=3000
• interactive_timeout=3000
  （单位为秒，设置为50分钟，略长于你的查询耗时上限）

4. 代码层面添加任务组超时控制 #

在PySpark代码中使用JobGroup绑定任务并设置超时，强制超时后终止任务：

# 绑定任务组并设置超时（45分钟，单位毫秒）
spark.sparkContext.setJobGroup(
    "aurora-long-query", 
    "Long-running MySQL Aurora query", 
    cancelOnJobGroupTimeout=True
)
spark.sparkContext.setJobGroupTimeout(45 * 60 * 1000)

# 读取数据的代码
df = spark.read.format("jdbc") \
    .option("url", jdbc_url) \
    .option("driver", "com.mysql.cj.jdbc.Driver") \
    .option("query", "your_long_running_query") \
    .option("user", "db_user") \
    .option("password", "db_pass") \
    .option("queryTimeout", "2700")  # 45分钟，单位秒
    .option("fetchsize", "10000")  # 分批获取结果，减少单次数据传输压力
    .load()

• fetchsize：设置结果集分批获取的大小，避免因结果集过大导致socket超时

5. 验证驱动版本兼容性 #

当前使用的mysql-connector-java 8.0.27与Aurora 5.7理论兼容，但部分版本存在超时逻辑bug。可尝试降级至8.0.26或升级至8.0.30，验证是否解决挂起问题。

内容的提问来源于stack exchange，提问作者Daniel Cagney