Azure Databricks PySpark流写入EventHub抛出TimeoutException问题求助

• 连接管理不当：foreachBatch 方法中每次批次执行write.format("eventhubs").save()时，默认会重新创建Event Hub生产者客户端，高频批次下大量短连接触发Event Hub的连接数阈值或限流规则，运行一段时间后新连接无法成功建立，抛出超时异常。
• Event Hub配置不合理：缺少重试策略、发送超时sendTimeout设置过短，当Event Hub服务端出现流量突增排队时，请求无法在超时窗口内完成就会触发异常。
• 吞吐量不匹配：Event Hub配置的*吞吐量单位（TU）*不足，1TU默认仅支持1MB/s或1000条/秒的写入流量，当实际写入流量超过上限时，服务端会限流拒绝请求，大量重试累积后触发超时。
• 代码性能缺陷：df.orderBy("_commit_timestamp") 未将排序结果赋值回新的DataFrame，属于无效计算但仍会触发shuffle操作占用集群资源；同时未做分区优化的写入逻辑可能导致数据集中发往Event Hub少数分区，引发分区热点触发限流。
• 资源不足：Databricks集群的执行器CPU、内存占满，批次处理延迟不断累积，待发送数据排队时间超过Event Hub客户端的超时阈值。
• 批次大小失控：未限制流批次的最大数据量，随着作业运行后续批次的数据量持续增长，单次发送的payload超过Event Hub单条消息/单批次的大小限制，导致发送超时。
• 网络异常：Databricks工作区与Event Hub之间的私有链路抖动、防火墙会话过期，长连接被中断后重连不及时导致请求超时。
• 检查点IO延迟升高：流作业的检查点目录对应的存储账户出现IO性能瓶颈，批次提交流程变慢，整体链路超时。

内容的提问来源于stack exchange，提问作者Akhilesh Jaiswal