EMR环境下使用Airflow Livy算子提交Spark作业的连接配置问题

核心逻辑澄清 #

Airflow的Livy算子设计上不会直接暴露Livy服务主机、端口的入参，所有Livy Server的连接信息都通过统一的Airflow Connection机制托管，这也是官方示例没有在算子代码里直接写主机、端口的原因。

关于livy_conn_id参数的取值 #

• 示例中的livy_conn_default只是通用占位标识，不是强制要求的固定值
• 这个参数的本质是索引值，用于匹配你在Airflow后台预先配置的Livy服务连接信息，你可以完全自定义连接ID的名称（比如根据环境命名为emr_prod_livy、dev_livy都可以），没有取值限制
• 只要算子上填写的livy_conn_id和后台配置的连接ID完全一致，就能正常加载对应连接信息

传入Livy Server主机、端口的配置步骤 #

1. 进入Airflow后台的「Admin -> Connections」管理页面
2. 新建或编辑对应连接：
   • 连接类型选择Http（Livy是REST接口服务，算子底层依赖Http连接类解析连接参数）
   • Host字段填入EMR集群中可访问的Livy Server主机名（通常为EMR主节点的内网/公网可解析域名）
   • Port字段填入Livy服务的监听端口，默认为8998
   • 如需补充协议、认证信息，可在Extra字段填入JSON格式参数，例如{"scheme": "http"}（启用HTTPS时将scheme值改为https即可）
3. 保存连接配置后，Livy算子会自动通过livy_conn_id关联读取上述的主机、端口信息完成服务连接，不需要在算子代码中单独传入地址参数。

常见注意事项 #

• 不要尝试在Livy算子的初始化参数中直接传入host、port字段，这类参数不存在于算子的内置入参中，硬编码传入会触发参数不识别的报错
• 如果直接沿用示例中的livy_conn_default作为连接ID，必须提前在Connections页面配置同名的连接信息，否则会触发连接不存在的运行时错误

内容的提问来源于stack exchange，提问作者Raj