从Hive导入表至Python时，pandas/dask read_csv应使用何种分隔符？

常见Hive默认分隔符配置 #

Hive表默认使用控制字符作为分隔符，这是多数导入失败的核心原因，用常规逗号/制表符会导致解析错误。正确参数如下：

• 字段分隔符：\001（ASCII的SOH字符，对应键盘Ctrl+A）
• 数组元素分隔符：\002（STX字符，对应Ctrl+B）
• Map键值分隔符：\003（ETX字符，对应Ctrl+C）
• 行分隔符：\n（换行符，通常无需额外指定）

Dask读取示例代码 #

使用dask.dataframe.read_csv读取时，需明确指定分隔符：

import dask.dataframe as dd

# 读取Hive默认分隔符的表文件
df = dd.read_csv(
    "hdfs://path/to/your/hive_table/*",
    sep="\001",
    lineterminator="\n"
)

# 读取带分区的Hive表，可保留分区路径用于提取分区字段
df = dd.read_csv(
    "hdfs://path/to/your/hive_table/dt=*/*",
    sep="\001",
    include_path_column=True
)

自定义分隔符场景处理 #

若你的Hive表使用自定义分隔符，直接替换sep参数即可：

# 制表符分隔的表
df = dd.read_csv("hdfs://path/to/table/*", sep="\t")

# 逗号分隔的表
df = dd.read_csv("hdfs://path/to/table/*", sep=",")

复杂类型解析方案 #

如果表包含数组、Map这类复杂类型，需手动解析：

# 解析数组字段（数组元素用\002分隔）
df["array_col"] = df["array_col"].str.split("\002")

# 解析Map字段（键值对用\002分隔，键与值用\003分隔）
def parse_map(s):
    if not s:
        return {}
    pairs = s.split("\002")
    return {k: v for k, v in (p.split("\003", 1) for p in pairs)}

df["map_col"] = df["map_col"].apply(parse_map, meta=object)

内容的提问来源于stack exchange，提问作者Cuckoo