如何通过DataHub获取Spark转换血缘？配置后无任务/血缘信息排查

一、检查Spark Lineage核心配置是否生效 #

• 确认Spark作业启动时正确加载了DataHub lineage依赖，且配置了必要参数：
  • 检查spark.driver.extraClassPath或spark.jars是否包含与DataHub服务端版本匹配的spark-lineage jar包，版本不兼容会直接导致采集失败。
  • 必须配置的核心参数（用--conf传入或写入spark-defaults.conf）：

    spark.datahub.lineage.enabled=true
    spark.datahub.lineage.cluster.name=your-spark-cluster-name
    spark.datahub.host=datahub-gms.your-datahub-namespace
    spark.datahub.port=8080
    

    注意K8s跨命名空间访问要使用DataHub GMS的服务名+端口，确保Spark Pod能解析该地址。

二、验证数据源与目标端的元数据是否已入DataHub #

血缘展示的前提是Minio和Cassandra的元数据已经被DataHub收录：

• 检查Minio的元数据采集：通过DataHub的S3兼容采集配置（Minio支持S3 API），确保桶、数据对象的元数据已同步到DataHub。
• 检查Cassandra的元数据采集：配置DataHub的Cassandra采集源，确保目标keyspace、表的元数据已存在于DataHub中。如果数据源/目标端元数据缺失，DataHub无法关联生成血缘。

三、确认Spark转换操作被正确追踪 #

部分场景下的操作可能无法被默认采集器捕获：

• 对于Spark SQL查询，确保使用原生Spark SQL API，避免自定义未被追踪的SQL解析逻辑。
• 检查groupby、pivot、rename这类转换：DataHub的Spark lineage采集器支持绝大多数DataFrame标准转换，但自定义UDF或复杂自定义转换可能需要额外适配。
• 读写操作要使用完整标识：Minio路径需写全s3a://bucket/path，Cassandra要明确指定keyspace.table，模糊路径会导致元数据匹配失败。

四、排查K8s跨命名空间的网络与权限 #

• 网络连通性：进入Spark Pod，用curl测试DataHub GMS的地址，确认能正常访问。如果不通，检查NetworkPolicy是否限制了跨命名空间访问，或服务是否正确暴露端口。
• 权限验证：如果DataHub开启了认证，需在Spark配置中加入spark.datahub.token=your-auth-token，确保Spark有权限向DataHub发送元数据。

五、查看日志定位具体问题 #

• 查看Spark Driver日志：搜索datahub关键字，排查是否有连接失败、元数据发送异常等报错。
• 查看DataHub GMS日志：搜索Spark作业相关请求，确认是否有接收或处理失败的记录。

六、确认版本完全兼容 #

确保spark-lineage依赖版本与DataHub服务端版本完全一致，比如DataHub用0.12.0，spark-lineage jar也必须用0.12.0，版本不匹配会导致元数据解析失败。

内容的提问来源于stack exchange，提问作者zhangha2010