如何用Python将Parquet文件存入Redis，实现小型文件快速网络传输？

核心思路 #

直接把Parquet文件读成二进制字节串，用Redis的字符串类型（或哈希类型按需选择）存储即可。Redis作为纯内存数据库，完全符合你内存驻留、快速读写的需求，30-50MB的文件大小也远低于Redis单键值的默认上限（512MB），完全适配你的场景。

步骤实现 #

1. 依赖安装 #

需要两个核心库：redis（Redis客户端）和pyarrow（高效读写Parquet，比pandas更轻量）

pip install redis pyarrow

2. 写入Redis的代码示例 #

两种场景的实现方式，按需选择：

场景一：读取本地Parquet文件存入Redis

import redis
import pyarrow.parquet as pq

# 初始化Redis连接（根据你的实际配置调整host、port、db等参数）
r = redis.Redis(host='localhost', port=6379, db=0, decode_responses=False)

# 读取本地Parquet文件为二进制字节串
with open('your_target_file.parquet', 'rb') as f:
    parquet_bin = f.read()

# 存入Redis，自定义键名方便后续查找（建议用业务标识+版本的命名规则）
r.set('parquet:user_dataset:v1', parquet_bin)

# 可选：设置过期时间，比如24小时后自动清理数据
# r.expire('parquet:user_dataset:v1', 86400)

场景二：从内存DataFrame生成Parquet二进制存入

如果数据本来就在内存DataFrame里，跳过本地文件直接生成二进制存入更高效：

import redis
import pyarrow as pa
import pyarrow.parquet as pq
import pandas as pd

# 初始化Redis连接
r = redis.Redis(host='localhost', port=6379, db=0, decode_responses=False)

# 替换成你的实际DataFrame数据
df = pd.DataFrame({'id': [101,102,103], 'name': ['Alice','Bob','Charlie']})

# 将DataFrame转为Parquet二进制字节串
table = pa.Table.from_pandas(df)
buf = pa.BufferOutputStream()
pq.write_table(table, buf)
parquet_bin = buf.getvalue().to_pybytes()

# 存入Redis
r.set('parquet:user_dataset:v2', parquet_bin)

3. 从Redis读取并还原Parquet的代码示例 #

客户端直接从Redis读取二进制数据，加载到内存即可，无需落地文件：

import redis
import pyarrow.parquet as pq
import pyarrow as pa

# 初始化Redis连接
r = redis.Redis(host='localhost', port=6379, db=0, decode_responses=False)

# 读取Redis中的二进制数据
parquet_bin = r.get('parquet:user_dataset:v1')

# 转为内存Parquet对象并还原为DataFrame
buf = pa.BufferReader(parquet_bin)
table = pq.read_table(buf)
df = table.to_pandas()

# 验证数据
print(df.head())

性能优化建议 #

• 必须用连接池：生产环境别每次都新建Redis连接，用连接池复用能大幅提升性能：

  from redis import ConnectionPool
  
  pool = ConnectionPool(host='localhost', port=6379, db=0)
  r = redis.Redis(connection_pool=pool)
  

• 可选轻量压缩：如果网络带宽紧张，可以用zlib对Parquet字节串做二次压缩，但注意Parquet本身已经是压缩格式，额外压缩收益有限，需权衡CPU开销：

  import zlib
  
  # 写入时压缩
  compressed_bin = zlib.compress(parquet_bin)
  r.set('parquet:user_dataset:compressed', compressed_bin)
  
  # 读取时解压
  compressed_bin = r.get('parquet:user_dataset:compressed')
  parquet_bin = zlib.decompress(compressed_bin)
  

• 键名规范：用parquet:<业务标识>:<版本号>这类命名规则，方便管理多份Parquet数据。

方案适配性说明 #

• 纯内存读写：Redis数据全程在内存，读写速度比磁盘/S3快几个数量级，完美匹配你直接传输到客户端内存的需求。
• 轻量易维护：不需要HDFS这类复杂大数据组件，部署和运维成本极低。
• 灵活结构：Redis支持键值对、哈希等多种数据结构，你可以根据业务需求组织Parquet文件（比如用哈希存储一组相关的小Parquet文件）。

内容的提问来源于stack exchange，提问作者Jost