如何将PostgreSQL的bytea格式转换回np.float32类型的ndarray

问题背景 #

将np.float32类型的ndarray转换为字节后，存储到PostgreSQL的bytea字段中，查询时得到形如\x707f11bdca6c083edd8f4bbdda0f5e3e的字符串，直接使用np.frombuffer(bytearray(hex_str, 'utf-8'), dtype=np.float32)转换会得到错误结果，无法还原原始数组。

错误原因 #

你之前的方法错误地将十六进制字符串以UTF-8编码转换为字节，相当于把每个十六进制字符（如'7'、'0'）单独编码成一个字节，导致字节数据完全不符合原始数组的二进制结构，最终解析出的数值自然错误。

正确解决方法 #

需要先将bytea字符串中的十六进制内容还原为原始字节，再用np.frombuffer解析：

手动处理bytea字符串的情况

如果从数据库获取的是带\x前缀的十六进制字符串，按以下步骤处理：

import numpy as np

# 从PostgreSQL查询得到的bytea字符串
bytea_str = r'\x707f11bdca6c083edd8f4bbdda0f5e3e'

# 移除开头的\x前缀，提取纯十六进制字符串
hex_content = bytea_str[2:]

# 将十六进制字符串解码为原始字节
raw_bytes = bytes.fromhex(hex_content)

# 还原为np.float32类型的ndarray
restored_array = np.frombuffer(raw_bytes, dtype=np.float32)

print(restored_array)
# 输出：[-0.03552192  0.1332275  -0.04969775  0.21685734]

使用psycopg2直接查询的情况

如果用psycopg2连接PostgreSQL，驱动会自动将bytea类型字段返回为bytes对象，无需手动处理字符串，直接转换即可：

import psycopg2
import numpy as np

# 建立数据库连接
conn = psycopg2.connect("dbname=mydatabase user=your_username password=your_password")
cur = conn.cursor()

# 查询数据
cur.execute("SELECT Column1 FROM mytable WHERE index = 0;")
byte_data = cur.fetchone()[0]

# 直接还原数组
restored_array = np.frombuffer(byte_data, dtype=np.float32)

print(restored_array)

# 关闭连接
cur.close()
conn.close()

验证结果 #

还原后的数组与原始数组[-3.55219245e-02, 1.33227497e-01, -4.96977456e-02, 2.16857344e-01]精度一致，符合预期。

内容的提问来源于stack exchange，提问作者RodolfoAP