Delta Lake文件格式是否支持分类列？有无规划或替代方案？

路线图情况 #

Delta Lake 目前未将 Arrow 分类类型的原生支持明确纳入近期官方路线图。不过社区中已有相关需求讨论和提案提交，后续是否会实现该功能，取决于社区反馈优先级与项目规划安排。

可行替代方案 #

自定义字典编码映射 #

手动构建字典映射表，将高内存占用的低基数文本列（如产品描述）转换为整数ID存储，同时单独维护字典表保存ID与原始文本的对应关系。查询时通过关联字典表还原内容，能大幅降低存储和内存开销，逻辑可控性强。

示例代码（Spark环境）：

# 提取唯一值并构建字典映射
unique_descriptions = df.select("product_desc").distinct().collect()
desc_mapping = {row.product_desc: idx for idx, row in enumerate(unique_descriptions)}

# 将原始文本列替换为ID列
from pyspark.sql.functions import create_map, lit, col
map_expr = create_map([lit(x) for pair in desc_mapping.items() for x in pair])
df_encoded = df.withColumn("product_desc_id", map_expr[col("product_desc")])

# 保存字典表与编码后的交易表
spark.createDataFrame(unique_descriptions, schema="product_desc string").write.format("delta").save("/delta/dict/product_descriptions")
df_encoded.drop("product_desc").write.format("delta").save("/delta/transactions")

# 查询时关联还原
transactions_df = spark.read.format("delta").load("/delta/transactions")
dict_df = spark.read.format("delta").load("/delta/dict/product_descriptions")
result_df = transactions_df.join(dict_df, transactions_df.product_desc_id == dict_df.id)

启用Spark自动字典编码 #

Spark 3.x及以上版本支持对低基数字符串列自动启用Parquet字典编码，虽然不是Arrow分类类型，但能实现类似的压缩效果，且Delta Lake底层依赖Parquet存储，可直接受益。通过以下配置开启：

// Scala 配置示例
spark.conf.set("spark.sql.parquet.enableDictionary", "true")
spark.conf.set("spark.sql.parquet.dictionary.page.size", "1048576") // 可根据数据量调整页面大小

优化列压缩算法 #

针对低基数长文本列，选择高压缩比的Parquet压缩算法（如ZSTD），结合Delta Lake的存储特性，能有效降低内存占用与存储空间。设置方式：

# Python 保存时指定压缩算法
df.write.format("delta").option("compression", "zstd").save("/delta/transactions")

内容的提问来源于stack exchange，提问作者MYK