Azure Databricks部署Spline捕获Spark血缘时出现语法错误如何解决？

问题根因 #

--packages是Spark命令行提交作业时的参数，不能直接写在Databricks Notebook的代码执行单元中，Notebook的代码解释器无法识别该命令行语法，因此抛出标识符预期错误。

已安装Spline Agent到集群后的配置步骤 #

• 进入绑定的Databricks集群配置页面，找到Spark配置输入框
• 添加以下2行基础配置：

spark.sql.queryExecutionListeners za.co.absa.spline.harvester.listener.SplineQueryExecutionListener
spark.spline.producer.rest.url http://<你的Spline服务地址>:<端口>/producer

注意替换上面配置里的Spline服务地址和端口为你实际部署的地址

• 若需要开启血缘捕获的其他配置（比如捕获作业名、自定义元数据等），也可以在Spark配置中追加对应的spline.*前缀参数
• 保存配置后重启集群，重启完成后直接在Notebook中运行你的Spark作业即可，不需要在代码里加--packages相关内容

更换Spline版本的便捷配置方案（无需手动下载jar） #

• 进入集群配置→库→安装新库→选择Maven
• 在坐标输入框填入：za.co.absa.spline.agent.spark:spark-3.0-spline-agent-bundle_2.12:0.6.1
• 点击安装后等待集群安装完成，再按上述Spark配置步骤添加参数即可

内容的提问来源于stack exchange，提问作者ShadowWarrior