PyArrow按时间戳分区时文件名格式异常问题咨询

1. 当前URL编码是正常行为吗？ #

是的，这是PyArrow的默认正常行为。PyArrow会自动对分区键的值进行URL编码，目的是避免空格、冒号这类字符在文件系统（尤其是云存储如ABFS）中引发兼容性问题——这类字符在部分存储系统或文件路径规则中属于特殊字符，编码后能保证路径的有效性和跨环境兼容性。

2. 转换为期望的文件名格式可行吗？ #

可行，通过自定义分区配置禁用URL编码即可实现，具体方案如下：

解决方案代码 #

推荐使用pyarrow.dataset.write_dataset（比pq.write_to_dataset更灵活），配合use_filename_encode=False参数禁用编码，同时确保分区列的时间格式符合预期：

import pyarrow.dataset as ds
import pyarrow as pa
import os

# 将DataFrame转换为Arrow Table
table = new_df.to_arrow()

# 定义分区规则：指定分区列类型，采用Hive风格分区，禁用URL编码
partitioning = ds.partitioning(
    pa.schema([('req_moment', pa.timestamp('ns'))]),  # 确保req_moment是时间戳类型
    flavor='hive',
    use_filename_encode=False  # 核心参数：关闭URL编码
)

# 写入数据集
ds.write_dataset(
    table,
    f"abfss://{os.environ['STORAGE_ACCOUNT_CONTAINER']}/{os.environ['STORAGE_ACCOUNT_PATH']}",
    format='parquet',
    partitioning=partitioning,
    filesystem=fs
)

注意事项 #

• 确保req_moment列是datetime/timestamp类型：如果原列是字符串格式，建议先转换为时间戳类型，这样PyArrow会自动按YYYY-MM-DD HH:mm:ss格式生成分区路径；如果是字符串类型，需保证字符串本身就是YYYY-MM-DD HH:mm:ss格式，再禁用编码。
• 验证文件系统兼容性：ABFS（Azure Blob Storage）支持空格和冒号作为路径字符，但部分传统文件系统或存储服务可能不兼容，需确认目标环境支持这类字符。

内容的提问来源于stack exchange，提问作者Jop Verbeek