Synapse Notebook调用Azure外部服务API失败，求Spark配置排查方向

关键Spark配置项检查 #

以下是需要重点验证和调整的Spark参数，可通过%%configure魔法命令或Spark会话配置修改：

• 基础网络超时配置

  • spark.network.timeout：控制Spark集群内节点间的网络超时阈值，默认120秒，若外部API响应慢或网络延迟高，可调至300秒：

    %%configure -f
    {"conf": {"spark.network.timeout": "300s"}}
    

  • spark.executor.heartbeatInterval：Executor向Driver发送心跳的间隔，默认10秒，网络不稳定时可调整为20秒：

    %%configure -f
    {"conf": {"spark.executor.heartbeatInterval": "20s"}}
    

• HTTP请求超时控制
  直接在requests调用中显式设置连接和读取超时，避免因默认无超时设置导致的超时错误：

  import requests
  test_url = "https://www.google.com"
  # 设置连接超时10秒，读取超时30秒
  response = requests.get(test_url, timeout=(10, 30))
  print("Google Response Code:", response.status_code)
  

• Synapse Spark池网络隔离配置

  • 若Spark池启用了虚拟网络注入，需确认虚拟网络的出站安全组规则允许访问目标API的443端口（HTTPS）。
  • 检查是否开启了强制隧道，该配置会将所有出站流量导向VPN/ExpressRoute，可能阻断公网访问，若无需强制隧道可临时关闭测试。

• 代理配置（若环境需要）
  如果你的网络环境要求通过代理访问公网，需在Spark配置中添加代理参数：

  %%configure -f
  {"conf": {
      "spark.driver.extraJavaOptions": "-Dhttp.proxyHost=你的代理地址 -Dhttp.proxyPort=代理端口 -Dhttps.proxyHost=你的代理地址 -Dhttps.proxyPort=代理端口",
      "spark.executor.extraJavaOptions": "-Dhttp.proxyHost=你的代理地址 -Dhttp.proxyPort=代理端口 -Dhttps.proxyHost=你的代理地址 -Dhttps.proxyPort=代理端口"
  }}
  

额外排查动作 #

• 检查Synapse工作区的管理虚拟网络出站规则，确认允许访问目标域名（如www.google.com）。
• 用Spark内置Java HTTP客户端测试连接，排除requests库的潜在问题：

  from py4j.java_gateway import java_import
  java_import(sc._gateway.jvm, "java.net.URL")
  java_import(sc._gateway.jvm, "java.io.BufferedReader")
  java_import(sc._gateway.jvm, "java.io.InputStreamReader")
  
  url = sc._gateway.jvm.URL("https://www.google.com")
  conn = url.openConnection()
  reader = sc._gateway.jvm.BufferedReader(sc._gateway.jvm.InputStreamReader(conn.getInputStream()))
  print(reader.readLine())
  

内容的提问来源于stack exchange，提问作者Madhu Tallapaneni