Python中保持完整性的RedisJSON图片像素数据压缩方案咨询

核心思路 #

要在保证数据完整性的前提下压缩存储，必须使用无损压缩方案。像素数据本质是结构化数值，直接存文本会极大浪费空间，最优路径是先将数据转为二进制格式压缩，再转成可被JSON兼容的格式存入RedisJSON；若需保留文本格式，也可直接对文本字节做无损压缩，读取时反向操作即可还原。

具体实现方案 #

方案1：二进制压缩（推荐，压缩比更高） #

像素数据多为整数数组（如RGB三元组），先将数组打包为二进制，再用压缩算法处理，最后转base64字符串适配JSON存储：

import json
import zlib
import base64
import struct
import redis
from redis.commands.json.path import Path

# 示例：模拟原始像素数组（实际替换为你的数据）
pixel_data = [[255,255,255], [0,0,0]] * 500000

# 1. 将像素数组转为二进制（8位RGB值，大端字节序）
flat_pixels = [val for pixel in pixel_data for val in pixel]
binary_data = struct.pack(f">{len(flat_pixels)}B", *flat_pixels)

# 2. zlib无损压缩（level=9为最高压缩比）
compressed_data = zlib.compress(binary_data, level=9)

# 3. 转base64字符串（适配JSON存储要求）
compressed_base64 = base64.b64encode(compressed_data).decode('utf-8')

# 4. 存入RedisJSON
r = redis.Redis(host='localhost', port=6379, db=0)
r.json().set("image:1", Path.root_path(), {"compressed_pixels": compressed_base64})

# 读取还原流程
stored_data = r.json().get("image:1")["compressed_pixels"]
compressed_bytes = base64.b64decode(stored_data)
decompressed_binary = zlib.decompress(compressed_bytes)
# 转回像素数组
pixel_count = len(decompressed_binary) // 3
restored_pixels = [list(decompressed_binary[i*3:(i+1)*3]) for i in range(pixel_count)]

方案2：直接压缩文本格式数据 #

如果必须保留原始文本格式（如CSV风格的像素字符串），可直接压缩文本字节：

import zlib
import base64
import redis
from redis.commands.json.path import Path

# 示例：模拟11MB左右的像素文本（实际替换为你的数据）
pixel_text = "255,255,255;0,0,0;" * 3666666

# 压缩文本字节
compressed_bytes = zlib.compress(pixel_text.encode('utf-8'), level=9)
compressed_base64 = base64.b64encode(compressed_bytes).decode('utf-8')

# 存入RedisJSON
r = redis.Redis(host='localhost', port=6379, db=0)
r.json().set("image:2", Path.root_path(), {"compressed_text": compressed_base64})

# 读取还原流程
stored_text = r.json().get("image:2")["compressed_text"]
decompressed_bytes = zlib.decompress(base64.b64decode(stored_text))
restored_text = decompressed_bytes.decode('utf-8')

压缩算法选择 #

• zlib：Python内置，压缩比适中，速度快，适合大多数在线业务场景。
• bz2：压缩比比zlib更高，但压缩/解压速度稍慢，适合对存储空间要求极高的场景。
• lzma：压缩比最高，速度最慢，适合冷数据归档存储。

替换代码中的zlib为bz2或lzma即可切换算法，用法完全一致。

注意事项 #

1. RedisJSON仅支持JSON兼容格式，因此二进制压缩后必须转base64或十六进制字符串，不能直接存储字节。
2. 压缩级别越高，压缩比越高但耗时越长，需根据业务对性能和空间的需求平衡选择。
3. 建议在还原后做数据校验（如计算MD5哈希对比），确保数据完整性。

内容的提问来源于stack exchange，提问作者Kaiss B.