运行Synapse管道报Livy请求发送失败5000错误如何排查

已知错误返回 #

运行Synapse管道时触发错误码5000，提示Failure to send request to Livy due to exception，错误返回体如下：

{
    "errorCode": "5000",
    "message": "Failed to send request to Livy due to exception=[Microsoft.Marlin.Common.Exception.LivyException].",
    "failureType": "UserError",
    "target": "Ingest",
    "details": []
}

该错误属于管道层的通用包装错误，未携带具体失败原因，可通过以下路径获取详细错误明细定位根因：

• 查看活动运行输出详情：进入Synapse Studio「监控」板块，选择「管道运行」，定位到失败的运行记录，点击进入后找到名为Ingest的失败活动，在弹出的详情面板中切换到「输出」标签，这里会展示Livy请求返回的完整错误信息，通常会直接标注资源不足、参数非法、权限缺失等具体失败原因。
• 查看Spark池侧的Livy与作业日志：进入Synapse Studio「管理」板块，选择「Apache Spark池」，找到本次管道运行绑定的Spark池，筛选报错时间点附近的应用提交记录，找到对应失败的Spark应用后进入日志页，优先查看Livy、stderr、driver三类日志，可获取Livy服务端处理请求的完整栈信息，包括会话创建失败、作业提交被拒绝的具体触发点。
• 查看工作区诊断日志：如果前两个路径未获取到有效信息，可前往工作区诊断设置配置的日志存储位置（Log Analytics工作区、存储账户等），筛选报错时间点下LivyRequests、SparkServiceEvents类别的日志，可查看完整的请求链路、鉴权记录、后端服务原始返回码。
• 高频根因快速校验：如果日志信息不完整，可优先核对几个高频触发场景：
  • 绑定的Spark池在报错时段可用vCore、内存资源不足，或配置的最大会话数上限过低，导致Livy请求排队超时
  • 管道运行使用的身份（工作区托管标识、服务主体）缺少Spark池作业提交权限、关联存储账户的读写权限
  • 作业提交参数存在非法值，比如配置的Executor核数/内存超过Spark池单节点规格上限、引用了不存在的依赖文件或代码路径
  • Spark池所在的子网存在网络安全组规则限制，阻断了管道服务与Livy端点的通信

内容的提问来源于stack exchange，提问作者Amzad