如何实现Pandas复杂类型通用序列化以存储至DynamoDB？

这个思路是完全可落地的，核心是基于Python的反射/自省能力自动抓取复杂类型的初始化参数，不需要针对每个自定义类/第三方类单独写适配逻辑，兼容性覆盖绝大多数符合Python初始化规范的类。

通用序列化逻辑实现 #

核心要完成两个动作：一是抓取实例对应的类的全路径作为类型标识，避免不同模块同名类冲突；二是抓取实例初始化时传入的所有参数值，这里可以借助inspect模块实现，示例代码如下：

import inspect
import json
from importlib import import_module

def serialize_obj(obj):
    # 直接返回DynamoDB原生支持的基础类型
    if isinstance(obj, (int, float, str, bool, type(None), list, dict)):
        return obj
    # 获取类的全路径唯一标识
    cls = obj.__class__
    class_path = f"{cls.__module__}.{cls.__qualname__}"
    # 获取__init__方法的参数列表，排除self参数
    init_signature = inspect.signature(cls.__init__)
    init_params = list(init_signature.parameters.keys())[1:]
    # 收集参数值，优先读取实例的公开属性，其次读取私有属性适配第三方类的存储习惯
    params = {}
    for param in init_params:
        if hasattr(obj, param):
            params[param] = serialize_obj(getattr(obj, param))
        elif hasattr(obj, f"_{param}"):
            params[param] = serialize_obj(getattr(obj, f"_{param}"))
        else:
            raise ValueError(f"无法获取类{class_path}的参数{param}对应值")
    # 返回带类型标识的标准化结构
    return {"__type__": class_path, "__params__": params}

你提到的offsets.BusinessDay(2)经过该方法序列化后，会得到结构{"__type__": "pandas.tseries.offsets.BusinessDay", "__params__": {"n":2}}，完全符合你要求的可转JSON的结构标准。

通用反序列化逻辑实现 #

反序列化时只要识别特殊标识字段__type__，动态导入对应类后把参数解包传入即可，示例代码如下：

def deserialize_obj(obj):
    if isinstance(obj, dict) and "__type__" in obj and "__params__" in obj:
        # 按全路径动态导入对应类
        module_path, class_name = obj["__type__"].rsplit(".", 1)
        module = import_module(module_path)
        cls = getattr(module, class_name)
        # 递归反序列化所有参数
        params = {k: deserialize_obj(v) for k, v in obj["__params__"].items()}
        return cls(**params)
    # 列表/字典类型递归处理内部元素
    elif isinstance(obj, list):
        return [deserialize_obj(item) for item in obj]
    elif isinstance(obj, dict):
        return {k: deserialize_obj(v) for k, v in obj.items()}
    # 基础类型直接返回
    else:
        return obj

DynamoDB存储适配 #

你可以选择两种存储方式：

• 把序列化后的字典转成JSON字符串，存入DynamoDB的字符串类型字段
• 直接把序列化后的字典存入DynamoDB的Map类型字段，读取后直接调用反序列化方法即可

边界情况处理 #

• 极少数类的初始化参数不会存储为实例属性，这种情况可以单独维护一个小的适配规则字典，针对特定类手动指定参数取值逻辑即可，不需要修改通用框架
• 存在循环引用的对象需要额外加序列化递归深度限制，或者已序列化对象缓存，避免栈溢出
• 涉及嵌套类、子类的场景，使用__qualname__而非__name__获取类名，即可正确识别类路径

内容的提问来源于stack exchange，提问作者Droid