Python3中如何对键序不同的jsonb列排序并生成相同MD5哈希

核心问题原因 #

两个数据帧仅列顺序不同，但生成JSON格式的subjects列时，Pandas默认按原数据帧的列顺序生成JSON键，导致相同内容的JSON因键顺序差异生成不同的MD5哈希。

方案1：提前统一列顺序生成JSON（推荐） #

在生成subjects列前，明确指定固定的列选取顺序，确保两个数据帧生成的JSON键顺序完全一致。

import pandas as pd
import hashlib
import json

# 示例数据
df1 = pd.DataFrame({'b': [1,2,3], 'a': ['x','y','z'], 'c': [True, False, True]})
df2 = pd.DataFrame({'a': ['x','y','z'], 'b': [1,2,3], 'c': [True, False, True]})

# 定义统一的目标列顺序
target_columns = ['a', 'b', 'c']

# 按固定列顺序生成subjects列
df1['subjects'] = df1[target_columns].apply(lambda row: row.to_json(), axis=1)
df2['subjects'] = df2[target_columns].apply(lambda row: row.to_json(), axis=1)

# 定义MD5计算函数
def calc_md5(json_str):
    return hashlib.md5(json_str.encode('utf-8')).hexdigest()

# 生成哈希列
df1['md5_hash'] = df1['subjects'].apply(calc_md5)
df2['md5_hash'] = df2['subjects'].apply(calc_md5)

# 验证哈希一致性
print(df1['md5_hash'].equals(df2['md5_hash']))  # 输出True

方案2：对已生成的JSON列做标准化处理 #

如果已经生成了subjects列（JSON字符串格式），需要先将字符串解析为字典，再按键排序重新序列化，确保JSON结构统一后再计算MD5。

# 假设已存在subjects列（键顺序不同）
df1['subjects'] = df1.apply(lambda row: json.dumps({'b': row['b'], 'a': row['a'], 'c': row['c']}), axis=1)
df2['subjects'] = df2.apply(lambda row: json.dumps({'a': row['a'], 'b': row['b'], 'c': row['c']}), axis=1)

# 标准化JSON：解析为字典后按键排序重新序列化
def normalize_json(json_str):
    json_obj = json.loads(json_str)
    return json.dumps(json_obj, sort_keys=True)

df1['normalized_subjects'] = df1['subjects'].apply(normalize_json)
df2['normalized_subjects'] = df2['subjects'].apply(normalize_json)

# 计算标准化后的MD5哈希
df1['md5_hash'] = df1['normalized_subjects'].apply(calc_md5)
df2['md5_hash'] = df2['normalized_subjects'].apply(calc_md5)

print(df1['md5_hash'].equals(df2['md5_hash']))  # 输出True

为什么之前的json.dumps(x, sort_keys=True)无效？ #

如果直接对已序列化的JSON字符串调用json.dumps()，会把字符串本身当作一个值进行二次序列化（比如转义引号），而不是解析内部的JSON结构并排序键。必须先用json.loads()将字符串转为字典，再用sort_keys=True重新序列化，才能保证键顺序统一。

内容的提问来源于stack exchange，提问作者chas