Databricks Autoloader批量入湖：如何统一初始加载的lh_load_date值

方法1：手动指定固定加载时间（推荐） #

• 历史初始加载阶段，别用当前系统时间生成lh_load_date，直接设一个固定的时间戳，比如选历史数据的截止日或者一个统一的初始加载标记时间，例如'2024-01-01 00:00:00'。
• 代码示例：

  # 初始加载时固定lh_load_date
  fixed_load_date = F.to_timestamp(F.lit('2024-01-01 00:00:00'))
  df = df.withColumn('lh_load_date', fixed_load_date)
  

• 不管分多少批次跑，所有历史数据的加载时间字段值完全一致，Silver层去重时就能正确识别重复记录。

方法2：用全局批次时间统一生成 #

• 要是需要保留批次相关的时间信息，可在初始加载前先定义一个全局的批次时间变量，所有批次都用这个值：

  # 初始加载前只定义一次全局批次时间
  batch_load_time = datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')
  # 每个批次处理时直接用这个变量
  df = df.withColumn('lh_load_date', F.to_timestamp(F.lit(batch_load_time)))
  

• 注意：这个变量必须在整个初始加载流程里只初始化一次，不能每个批次都重新生成。

方法3：批量修正已加载的历史数据 #

• 如果已经跑了部分批次的初始加载，可对Bronze层的历史数据做一次批量更新，把所有初始加载记录的lh_load_date改成同一个固定值：

  -- 假设Bronze表是Delta格式，执行Merge更新
  MERGE INTO bronze_table t
  USING (
      SELECT *, '2024-01-01 00:00:00' AS new_load_date
      FROM bronze_table
      -- 筛选出初始加载的记录，可通过文件路径、加载时间范围等标识
      WHERE lh_load_date BETWEEN '2024-05-01 00:00:00' AND '2024-05-01 12:00:00'
  ) s
  ON t.unique_id = s.unique_id -- 用表的唯一业务标识字段匹配
  WHEN MATCHED THEN UPDATE SET t.lh_load_date = s.new_load_date
  

• 这个方法适合补救已存在的时间差问题，后续增量加载还是用当前时间生成lh_load_date就行。

增量加载的后续处理 #

• 初始加载完成后，增量加载阶段恢复用当前系统时间生成lh_load_date，保证增量数据的加载时间准确。
• Silver层的去重逻辑可以区分开：初始加载的数据用固定时间+业务字段去重，增量数据用实际加载时间+业务字段去重。

内容的提问来源于stack exchange，提问作者sayan nandi