MongoDB转BigQuery连接器问题：收到的_id未哈希化如何解决？

问题原因 #

MongoDB的_id（ObjectId）本质是由12字节二进制数据组成，内部包含时间戳、计数器、随机值等字段。当连接器以不扁平化模式同步时，会自动解析这些内部结构，返回结构化对象而非熟悉的十六进制哈希字符串。

解决方法 #

• 调整连接器配置
  检查连接器是否提供保留ObjectId原始格式的开关，比如preserve_object_id或convert_object_id_to_string类的配置项，开启后即可直接同步十六进制哈希格式的_id。

• BigQuery侧SQL转换
  如果数据已同步至BigQuery，可通过SQL将结构化_id拼接还原为哈希字符串：

  SELECT
    CONCAT(
      LPAD(TO_HEX(_id.timestamp), 8, '0'),
      LPAD(TO_HEX(_id.randomValue1), 6, '0'),
      LPAD(TO_HEX(_id.counter), 6, '0'),
      LPAD(TO_HEX(_id.randomValue2), 2, '0')
    ) AS _id
  FROM
    `你的数据集.你的表名`
  

  注：ObjectId的十六进制结构为「8位时间戳 + 6位随机值1 + 6位计数器 + 2位随机值2」，按此顺序拼接即可还原原始哈希值。

• MongoDB侧预处理
  在同步前给MongoDB数据新增一个存储_id字符串形式的字段，比如id_str：

  db.目标集合.updateMany({}, [{$set: {id_str: {$toString: "$_id"}}}])
  

  后续同步时选择id_str字段，即可直接得到哈希格式的ID。

内容的提问来源于stack exchange，提问作者by3by3byt3