为何解析后的字典相等但pickle序列化结果却不同？

问题背景 #

我正在开发一款聚合配置文件解析工具，目标支持.json、.yaml和.toml格式。测试中发现，三种格式解析后得到的字典彼此相等，但pickle序列化结果却存在差异：JSON解析得到的字典序列化结果，与YAML、TOML解析的结果不同，而后两者的序列化结果一致。

测试用配置文件 #

example.json

{
  "DEFAULT":
  {
    "ServerAliveInterval": 45,
    "Compression": true,
    "CompressionLevel": 9,
    "ForwardX11": true
  },
  "bitbucket.org":
    {
      "User": "hg"
    },
  "topsecret.server.com":
    {
      "Port": 50022,
      "ForwardX11": false
    },
  "special":
    {
      "path":"C:\\Users",
      "escaped1":"\n\t",
      "escaped2":"\\n\\t"
    }  
}

example.yaml

DEFAULT:
  ServerAliveInterval: 45
  Compression: yes
  CompressionLevel: 9
  ForwardX11: yes
bitbucket.org:
  User: hg
topsecret.server.com:
  Port: 50022
  ForwardX11: no
special:
  path: C:\Users
  escaped1: "\n\t"
  escaped2: \n\t

example.toml

[DEFAULT]
ServerAliveInterval = 45
Compression = true
CompressionLevel = 9
ForwardX11 = true
['bitbucket.org']
User = 'hg'
['topsecret.server.com']
Port = 50022
ForwardX11 = false
[special]
path = 'C:\Users'
escaped1 = "\n\t"
escaped2 = '\n\t'

测试代码及输出 #

import pickle,json,yaml
# TOML依赖tomllib/tomli
try:
    import tomllib
except ModuleNotFoundError:
    import tomli as tomllib

path = "example.json"
with open(path) as file:
    config1 = json.load(file)
    assert isinstance(config1,dict)
    pickled1 = pickle.dumps(config1)

path = "example.yaml"
with open(path, 'r', encoding='utf-8') as file:
    config2 = yaml.safe_load(file)
    assert isinstance(config2,dict)
    pickled2 = pickle.dumps(config2)

path = "example.toml"
with open(path, 'rb') as file:
    config3 = tomllib.load(file)
    assert isinstance(config3,dict)
    pickled3 = pickle.dumps(config3)

print(config1==config2) # True
print(config2==config3) # True
print(pickled1==pickled2) # False
print(pickled2==pickled3) # True

原因分析 #

核心差异在于**==判断与pickle序列化的逻辑完全不同**：

1. 字典相等判断（==）：仅校验键值对的内容、数量和插入顺序（Python 3.7+字典默认保留插入顺序），完全忽略字典内部的实现细节。只要这三点一致，两个字典就会被判定为相等。
2. Pickle序列化：会完整记录对象的内部状态，包括用户不可见的底层实现细节——对于字典来说，这包括哈希表的布局、桶的数量、空位分布等。

具体到你的场景：

• JSON解析器（json.load）生成字典的方式，与YAML（yaml.safe_load）、TOML（tomllib.load）的生成逻辑不同，导致即使最终键值对完全一致，字典内部的哈希表结构也存在差异，反映在Pickle结果上就是字节串不匹配。
• YAML和TOML解析器生成字典的内部逻辑刚好一致，所以它们的Pickle序列化结果完全相同。

总结 #

字典的相等性仅关注业务层面的内容一致，而Pickle序列化则关注对象底层的完整状态。不同工具生成的同内容字典，因内部实现细节差异，会导致Pickle结果不同，这属于正常现象，不影响字典的业务使用。

内容的提问来源于stack exchange，提问作者Little Train