Qubole平台排查Ebiz与Salesforce数据差异可使用的技术咨询

• Qubole Spark 交互式查询
  支持直接通过Spark SQL对数据湖内的两类数据源做全量关联校验，可覆盖行级缺失、字段值不一致等绝大多数差异场景，参考校验语句如下：

  -- 校验主键缺失的差异条目
  SELECT 
    CASE WHEN e.primary_key IS NULL THEN 'Salesforce存在、eBiz缺失'
         WHEN s.primary_key IS NULL THEN 'eBiz存在、Salesforce缺失'
         ELSE '字段值不一致' END AS diff_type,
    COALESCE(e.primary_key, s.primary_key) AS common_id
  FROM ebiz_migration_table e
  FULL OUTER JOIN salesforce_migration_table s 
    ON e.primary_key = s.primary_key
  WHERE e.primary_key IS NULL 
    OR s.primary_key IS NULL 
    OR e.business_field <> s.business_field
  

  Qubole Spark支持弹性扩缩容，TB级全量校验任务也可以在短时间内完成，适合首次全量迁移后的全量盘点。
• Qubole Presto 即席查询引擎
  针对小批量抽样排查、临时定位差异范围的场景，Presto不需要预热集群，查询延迟更低，可以快速筛选特定业务周期、特定业务模块的子集数据做快速校验，大幅提升临时排查的效率。
• Qubole Notebooks
  针对格式类、逻辑类的复杂差异场景（比如时间戳时区偏移、枚举值映射错误、特殊字符转义异常等非等值差异），可以在Notebook中编写Python/Scala自定义校验逻辑，还可以直接将差异结果可视化导出，方便后续做业务溯源。
• Qubole 数据管道（Data Pipelines）
  可以将标准化的校验逻辑封装为定时运行的管道任务，长期监控两类数据的一致性，自动统计每日差异量、差异类型，出现异常时自动触发告警，避免后续增量同步阶段再次出现数据不一致问题。
• Qubole Hive
  如果待校验的是按分区存储的冷历史数据，使用Hive做全量校验的资源成本更低，适合低频的历史数据一致性复盘场景。

内容的提问来源于stack exchange，提问作者user2280352