无需Spark，如何将Pandas DataFrame转换为Delta格式？

你可以使用delta-rs项目提供的Python绑定库deltalake来实现，完全不需要依赖Spark环境。

步骤1：安装依赖 #

执行以下命令安装deltalake库：

pip install deltalake

步骤2：编写转换代码 #

直接使用write_deltalake方法将Pandas DataFrame写入Delta格式：

import pandas as pd
from deltalake import write_deltalake

# 创建你的DataFrame
df = pd.DataFrame({"x": [1, 2, 3],"y": [3, 2, 1]})

# 将DataFrame写入指定路径的Delta表
write_deltalake("./my_delta_table", df)

执行后，指定路径下会生成完整的Delta Lake目录结构，包含事务日志和数据文件。

读取Delta表（可选） #

如果需要读取生成的Delta表并转回Pandas DataFrame，可以用以下代码：

from deltalake import read_deltalake

# 读取Delta表
delta_table = read_deltalake("./my_delta_table")
# 转换为Pandas DataFrame
pandas_df = delta_table.to_pandas()

deltalake库支持Delta Lake的核心特性，包括ACID事务、版本控制、Schema校验等，完全满足无Spark环境下的Delta格式操作需求。

内容的提问来源于stack exchange，提问作者Lucca Ribeiro