DataHub问题：无法构建Looker与Snowflake间的血缘关系

在使用DataHub时，无法成功构建Looker与Snowflake之间的数据血缘关系，已尝试启用血缘追踪、添加include_views参数、建立元数据映射等方法，但均未生效。以下是当前的Ingestion配置文件：

LookML 配置 #

source:
    type: lookml
    config:
        parse_table_names_from_sql: true
        stateful_ingestion:
            enabled: true
        api:
            client_secret: '${DEVELOPMENT_LOOKER_R_CLIENT_SECRET}'
            client_id: '${DEVELOPMENT_LOOKER_R_CLIENT_ID}'
            base_url: 'https://healthunion.looker.com'
        github_info:
            deploy_key: ""
            repo: ''
        extract_column_level_lineage: true
pipeline_name: 'pname'

Looker 配置 #

source:
    type: looker
    config:
        base_url: ''
        client_secret: '${DEVELOPMENT_LOOKER_R_CLIENT_SECRET}'
        client_id: '${DEVELOPMENT_LOOKER_R_CLIENT_ID}'
        extract_column_level_lineage: true
        extract_usage_history: true
        extract_owners: true
pipeline_name: 'pname'

Snowflake 配置 #

source:
    type: snowflake
    config:
        account_id: ''
        warehouse: ANALYST_MD
        username: '${DEVELOPMENT_SNOWFLAKE_RW_USER}'
        password: '${DEVELOPMENT_SNOWFLAKE_RW_PASSWORD}'
        role: el_role
        include_column_lineage: true
        include_views: true
        include_tables: true
pipeline_name: 'pname'

排查与修复步骤 #

1. 补全关键配置缺失项 #

• Looker 配置：base_url 不能为空，需填写完整的Looker实例URL（如https://healthunion.looker.com），否则无法正常连接Looker API获取元数据。
• Snowflake 配置：account_id 是必填项，需填写Snowflake完整账户ID（格式通常为<org>-<account>或<account_region>），这是建立Snowflake连接的核心参数。
• LookML 配置：若通过GitHub拉取LookML文件，需补全github_info.repo的仓库地址（如https://github.com/your-org/your-lookml-repo.git），同时配置有效的deploy_key；若无需从GitHub同步，直接移除github_info节点，避免无效配置干扰。

2. 优化血缘解析的元数据匹配逻辑 #

• LookML 侧：确保LookML中的SQL语句使用完全限定表名（格式为database.schema.table）。DataHub依赖明确的表名来匹配Snowflake中的元数据，使用别名或非限定名会导致血缘解析失败。
• Snowflake 侧：确认配置的el_role拥有所有涉及表/视图的访问权限，包括查看表结构、元数据及血缘的权限（如SELECT、MONITOR权限），权限不足会导致元数据提取不完整，无法建立血缘关联。

3. 调整Ingestion任务执行顺序 #

DataHub跨系统血缘依赖元数据的唯一性匹配，需按以下顺序执行任务：

1. 先执行Snowflake Ingestion，将Snowflake的表、视图元数据同步到DataHub；
2. 再执行LookML Ingestion；
3. 最后执行Looker Ingestion。
   这样Looker/LookML的元数据才能找到已存在的Snowflake元数据节点，完成血缘关联。

4. 查看Ingestion日志定位问题 #

执行Ingestion任务时开启DEBUG日志，重点检查：

• LookML Ingestion日志中是否有Parsing SQL for table lineage相关条目，是否成功识别出Snowflake表名；
• Snowflake Ingestion日志中是否成功生成目标表/视图的URN（如urn:li:dataset:(urn:li:dataPlatform:snowflake,your_db.your_schema.your_table,PROD)）；
• 是否存在Lineage not found或Metadata mismatch类错误，定位具体的匹配失败原因。

5. 验证DataHub版本兼容性 #

确保使用的DataHub版本（包括Ingestion CLI和后端服务）支持Looker与Snowflake的跨系统血缘功能。建议升级到最新稳定版，旧版本可能存在已知的血缘解析bug。

内容的提问来源于stack exchange，提问作者Viktor Andriichuk