EMR 7.0.0结合Iceberg与S3时遇SdkClientException连接池超时问题

核心原因 #

错误提示的Timeout waiting for connection from pool是因为AWS SDK的HTTP连接池耗尽，Iceberg操作大型表时会产生大量S3读写请求，默认的连接池配置无法支撑高并发请求量。

关键配置调整 #

在Spark作业的初始化配置中添加以下参数，增大连接池容量并优化超时设置：

spark = SparkSession.builder \
    .appName("IcebergUpdateJob") \
    .config("spark.hadoop.fs.s3.maxConnections", "500") \
    .config("spark.hadoop.fs.s3.connection.maximum", "500") \
    .config("spark.hadoop.fs.s3.connection.timeout", "30000") \
    .config("spark.hadoop.fs.s3.socket.timeout", "60000") \
    .config("spark.hadoop.fs.s3.connection.acquire.timeout", "10000") \
    .config("spark.sql.extensions", "org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions") \
    .config("spark.sql.catalog.spark_catalog", "org.apache.iceberg.spark.SparkSessionCatalog") \
    .config("spark.sql.catalog.spark_catalog.type", "hive") \
    .getOrCreate()

也可以在EMR集群启动时通过spark-defaults.conf做全局配置：

spark.hadoop.fs.s3.maxConnections 500
spark.hadoop.fs.s3.connection.maximum 500
spark.hadoop.fs.s3.connection.timeout 30000
spark.hadoop.fs.s3.socket.timeout 60000
spark.hadoop.fs.s3.connection.acquire.timeout 10000

额外优化建议 #

• 调整作业并行度：如果任务并行度过高导致请求过载，可适当降低spark.sql.shuffle.partitions（默认200），或通过spark.dynamicAllocation.maxExecutors限制执行器数量，避免并发请求超出S3连接池上限。
• Iceberg写优化：开启Iceberg合并小文件功能，减少S3请求次数：

  spark.sql("ALTER TABLE your_table_name SET TBLPROPERTIES ('write.merge.enabled'='true', 'write.merge.target-file-size-bytes'='134217728')")
  

• 检查实例网络：确保EC2实例有足够网络带宽，避免因网络瓶颈间接引发连接超时。

内容的提问来源于stack exchange，提问作者Madhava Carrillo