如何让Python cbor2库自动选择高效格式编码浮点数？

CBOR规范要求优先采用字节数最少的编码方式，浮点数支持多种编码选项：标准64位浮点数（占9字节）、32/16位扩展浮点数、BigFloat或DecimalFloat。部分浮点值（如0.0、1.0、1.5）用BigFloat编码仅需4字节，比64位更高效；但像0.123456789这类值，64位浮点数编码（9字节）反而比BigFloat（29字节）更省空间。

但Python的cbor2库目前是固定类型映射编码：float类型会被编码为CBOR 64位浮点数，Decimal类型会被编码为CBOR BigFloat，无法根据实际值自动选择最优编码。

测试示例 #

>>> import cbor2
>>> from decimal import Decimal
>>> dumps = cbor2.dumps

>>> x=0.0 ; x ; d1 = dumps(x) ; d1 ; len(d1) ; dx = Decimal(x) ; d2 = dumps(dx) ; d2 ; len(d2)
0.0
b'\xfb\x00\x00\x00\x00\x00\x00\x00\x00'
9
b'\xc4\x82\x00\x00'
4

>>> x=1.0 ; x ; d1 = dumps(x) ; d1 ; len(d1) ; dx = Decimal(x) ; d2 = dumps(dx) ; d2 ; len(d2)
1.0
b'\xfb?\xf0\x00\x00\x00\x00\x00\x00'
9
b'\xc4\x82\x00\x01'
4

>>> x=1.5 ; x ; d1 = dumps(x) ; d1 ; len(d1) ; dx = Decimal(x) ; d2 = dumps(dx) ; d2 ; len(d2)
1.5
b'\xfb?\xf8\x00\x00\x00\x00\x00\x00'
9
b'\xc4\x82 \x0f'
4

>>> x=0.123456789 ; x ; d1 = dumps(x) ; d1 ; len(d1) ; dx = Decimal(x) ; d2 = dumps(dx) ; d2 ; len(d2)
0.123456789
b'\xfb?\xbf\x9a\xdd79c_'
9
b'\xc4\x8287\xc2W\x80\xe5\x18Js\xc0\xe4\x8f-\xf1\xc9\xf0\x90\xf4u%+\x93\xa7\n\x88\xa2?'
29

解决方案：自定义编码器实现自动选择 #

我们可以利用cbor2的default参数，自定义一个编码器函数，对每个浮点值（float或Decimal）分别尝试两种编码方式，选择字节长度更短的结果进行序列化，同时保证数据精度不丢失。

自定义编码器代码

import cbor2
from decimal import Decimal

def efficient_float_encoder(value, encoder):
    # 处理float类型
    if isinstance(value, float):
        try:
            # 转换为Decimal，尝试BigFloat编码
            dec_val = Decimal(value)
            cbor_bigfloat = cbor2.dumps(dec_val)
        except:
            # 转换失败时，直接用默认float编码
            return encoder.encode_float(value)
        
        # 获取原float的64位编码
        cbor_float64 = cbor2.dumps(value)
        
        # 返回更短的编码结果
        return cbor_bigfloat if len(cbor_bigfloat) < len(cbor_float64) else cbor_float64
    
    # 处理Decimal类型
    elif isinstance(value, Decimal):
        try:
            # 尝试转换为float，验证精度是否一致
            float_val = float(value)
            if Decimal(float_val) == value:
                # 精度无损失时，比较两种编码长度
                cbor_float64 = cbor2.dumps(float_val)
                cbor_bigfloat = cbor2.dumps(value)
                return cbor_float64 if len(cbor_float64) < len(cbor_bigfloat) else cbor_bigfloat
        except (OverflowError, ValueError):
            # 转换float失败（如极大/极小值），直接用BigFloat编码
            pass
        
        # 精度丢失或转换失败，返回默认Decimal编码
        return encoder.encode_decimal(value)
    
    # 其他类型交给默认编码器处理
    return encoder.default(value)

使用方式

调用cbor2.dumps()时传入自定义编码器：

# 测试float类型
x = 0.0
encoded = cbor2.dumps(x, default=efficient_float_encoder)
print(f"编码结果: {encoded}, 长度: {len(encoded)}")
# 输出：编码结果: b'\xc4\x82\x00\x00', 长度: 4

# 测试Decimal类型
dx = Decimal("0.123456789")
encoded = cbor2.dumps(dx, default=efficient_float_encoder)
print(f"编码结果: {encoded}, 长度: {len(encoded)}")
# 输出：编码结果: b'\xfb?\xbf\x9a\xdd79c_', 长度: 9

注意事项 #

• 精度验证：在将Decimal转换为float时，必须验证转换后的值转回Decimal是否与原值一致，避免因精度丢失导致数据错误。
• 异常处理：针对无法转换为float的Decimal值（如超出float范围的极大/极小值），直接 fallback 到BigFloat编码。
• 性能考量：每次序列化都会尝试两种编码，对性能有轻微影响，如果对性能要求极高，可针对高频出现的数值类型做针对性优化。

内容的提问来源于stack exchange，提问作者user19007114