Databricks用PostgreSQL做外部Hive Metastore连接数超限报错求解

该问题为Hive Metastore（以下简称HMS）客户端连接池配置与PostgreSQL侧连接生命周期规则不匹配导致，Databricks集群的HMS客户端默认未配置合理的空闲连接回收逻辑，BoneCP连接池默认超时配置过长，大量空闲连接长期占用PostgreSQL连接槽位最终触发连接上限报错。

1. Databricks集群Spark配置调整（优先配置，重启集群后生效） #

在集群Spark配置页添加以下参数，参数值可根据你的PostgreSQL实例规格调整：

• 限制单集群HMS连接池最大连接数：spark.databricks.hive.metastore.client.maxConnections = 20，双集群总连接数不要超过PostgreSQL总连接配额的70%，预留余量给超级用户和其他运维操作
• 开启空闲连接自动回收：spark.databricks.hive.metastore.client.idleMaxAgeInMinutes = 10，空闲超过10分钟的连接自动释放
• 开启连接有效性校验：spark.databricks.hive.metastore.client.testConnectionOnCheckout = true，每次取用连接前校验有效性，避免无效连接占用槽位

如果使用的是带BoneCP连接池的旧版本Databricks Runtime，额外添加以下两个参数：

• bonecp.idleConnectionTestPeriodInMinutes = 5，每5分钟检测一次空闲连接有效性
• bonecp.maxConnectionAgeInMinutes = 30，所有连接最长生命周期30分钟，到期强制回收

2. PostgreSQL侧兜底配置（避免连接完全占满导致服务不可用） #

• 适当上调PostgreSQL的max_connections参数，常规4核8G规格实例可调整为200，不要超过实例规格支持的上限值
• 在postgresql.conf中添加空闲连接自动回收规则：

  idle_in_transaction_session_timeout = 600000 # 空闲事务超过10分钟自动断开，单位为毫秒
  tcp_keepalives_idle = 300 # 300秒无活动就发送keepalive探测包
  tcp_keepalives_interval = 60 # 探测包发送间隔为60秒
  tcp_keepalives_count = 3 # 连续3次探测失败就断开连接
  

• 给HMS专用的数据库用户设置独立连接配额，避免占满全局连接槽位：ALTER ROLE hms专用用户名 CONNECTION LIMIT 150;

3. 临时应急处理 #

若已经出现连接占满无法访问的情况，使用超级用户登录PostgreSQL，批量清理HMS用户的空闲连接即可恢复：
SELECT pg_terminate_backend(pid) FROM pg_stat_activity WHERE usename = 'hms专用用户名' AND state = 'idle' AND state_change < now() - interval '10 minutes';

配置完成后，每间隔1小时查询一次pg_stat_activity视图，确认空闲连接数不会持续增长，连续运行24小时没有触发连接上限报错即为配置生效。

内容的提问来源于stack exchange，提问作者Kasper Skov