如何提升Databricks集群的JDBC查询并发请求数？

应用仪表盘初始加载包含8个组件，每个组件会向Django后端发起API请求，每个请求都会通过JDBC连接Databricks集群并执行SQL查询。

当前问题：仅支持同时运行4个查询，剩余4个需等待已有查询完成后才能执行。

集群配置信息 #

• Databricks运行时版本：11.3 LTS
• 工作节点类型：r6i.xlarge，最小2个，最大16个
• 驱动节点类型：r6i.2xlarge

已尝试修改以下Spark配置，但问题未解决：

spark.databricks.io.cache.enabled true
spark.databricks.maxConcurrentRuns 100
spark.default.parallelism 20
spark.databricks.cluster.profile serverless
spark.sql.shuffle.partitions 20

内容的提问来源于stack exchange，提问作者Tom Shen