无需JVM，如何将类DataFrame对象写入Hive分区并分桶的Parquet文件？

核心需求 #

• Hive分区：指定分区列（如year, month, day, foo_col1），生成key=value层级结构的存储路径
• 分桶/聚类：分区内按指定列全局有序，确保相同列值的行在所有文件中连续（而非仅单文件内有序）

各工具实现方案 #

1. DuckDB 修正方案（解决跨文件排序不连贯问题） #

之前的问题源于COPY TO默认拆分文件，导致单文件内有序但全局不连续。可通过两种方式解决：

方案A：单分区单文件（小数据量适用）

先按「分区列+分桶列」全局排序，写入时强制每个分区生成单个文件：

-- 创建全局排序的临时表
CREATE TEMP TABLE sorted_data AS
SELECT * FROM your_data
ORDER BY year, month, day, foo_col1, bucket_col; -- 先分区列，再分桶列

-- 写入Hive分区Parquet，每个分区生成单个文件
COPY sorted_data TO 'output_path'
FORMAT PARQUET
PARTITION_BY (year, month, day, foo_col1)
SINGLE_FILE PER_PARTITION;

方案B：哈希分桶（大数据量适用）

若数据量过大无法单文件存储，按分桶列哈希值拆分，确保相同哈希值的行落在同一文件，同时每个文件内有序：

-- 添加分桶哈希列（示例分10桶）
CREATE TEMP TABLE bucketed_data AS
SELECT *, MOD(ABS(CAST(XXHASH64(bucket_col) AS BIGINT)), 10) AS bucket_id
FROM your_data;

-- 按「分区列+桶ID+分桶列」排序
CREATE TEMP TABLE sorted_bucketed AS
SELECT * EXCLUDE bucket_id
FROM bucketed_data
ORDER BY year, month, day, foo_col1, bucket_id, bucket_col;

-- 写入时按分区列+桶ID分区（模拟分桶逻辑）
COPY sorted_bucketed TO 'output_path'
FORMAT PARQUET
PARTITION_BY (year, month, day, foo_col1, bucket_id);

每个分区下的子目录对应一个桶，同一桶内的文件保持有序，相同分桶列值会集中在同一桶目录下。

2. PyArrow 实现方案 #

借助PyArrow的dataset模块支持Hive分区，结合全局排序实现分桶效果：

import pyarrow as pa
import pyarrow.dataset as ds

# 将输入数据转为PyArrow Table（支持pandas DataFrame直接传入）
table = pa.Table.from_pandas(data)

# 按「分区列+分桶列」全局排序
sorted_table = table.sort_by([
    ('year', 'asc'), ('month', 'asc'), ('day', 'asc'), ('foo_col1', 'asc'),
    ('bucket_col', 'asc')
])

# 写入Hive分区Parquet
ds.write_dataset(
    sorted_table,
    base_dir='output_path',
    format='parquet',
    partitioning=ds.partitioning(
        pa.schema([('year', pa.int32()), ('month', pa.int32()), ('day', pa.int32()), ('foo_col1', pa.string())]),
        flavor='hive'
    ),
    # 可选：控制单文件行数，设为极大值可实现单分区单文件
    max_rows_per_file=10**9
)

若需分桶存储，可先按分桶列哈希拆分表，再写入对应分区下的子目录，逻辑类似DuckDB方案B。

3. Pandas 辅助实现（小数据场景） #

Pandas本身不直接支持Hive分区，需手动遍历分区并创建目录：

import pandas as pd
import os

partition_cols = ['year', 'month', 'day', 'foo_col1']
bucket_col = 'bucket_col'

# 按分区列+分桶列全局排序
df_sorted = df.sort_values(by=partition_cols + [bucket_col])

# 遍历每个分区写入对应路径
for partition_vals, group in df_sorted.groupby(partition_cols):
    # 构建Hive分区路径
    partition_path = '/'.join([f'{col}={val}' for col, val in zip(partition_cols, partition_vals)])
    full_path = os.path.join('output_path', partition_path)
    os.makedirs(full_path, exist_ok=True)
    
    # 写入单文件Parquet，确保分区内全局有序
    group.to_parquet(os.path.join(full_path, 'data.parquet'), index=False)

该方式仅适合小数据集，大数据量优先选择PyArrow或DuckDB。

内容的提问来源于stack exchange，提问作者conradlee