如何将主机导出的EBCDIC编码（cp037）.dat文件加载到Pandas/Spark DataFrame？

核心思路：直接读取编码，无需提前转码 #

Python和Spark都原生支持cp037编码，不需要依赖系统的iconv工具，直接在读取时指定编码即可，这是最高效的方案。

方案1：加载到Pandas DataFrame #

根据.dat文件的结构（分隔符分隔/固定宽度）选择对应方法：

分隔符分隔的文件（如用|、逗号分隔） #

直接用pandas.read_csv指定编码：

import pandas as pd

# 假设分隔符是|，无表头
df = pd.read_csv(
    "your_file.dat",
    encoding="cp037",
    sep="|",
    header=None,
    # 可选：替换无法转换的特殊字符
    errors="replace"
)

固定宽度的文件（主机导出常见格式） #

用pandas.read_fwf指定字段宽度和编码：

import pandas as pd

# 定义每个字段的起始/结束位置（示例：3个字段，宽度分别为10、15、5）
col_specs = [(0, 10), (10, 25), (25, 30)]
col_names = ["id", "name", "age"]

df = pd.read_fwf(
    "your_file.dat",
    encoding="cp037",
    colspecs=col_specs,
    names=col_names,
    errors="replace"
)

方案2：加载到Spark DataFrame #

Spark 2.3及以上版本原生支持cp037编码，同样根据文件结构选择：

分隔符分隔的文件 #

# PySpark示例
df = spark.read.csv(
    "your_file.dat",
    encoding="cp037",
    sep="|",
    header=False,
    inferSchema=False  # 建议手动指定schema，避免自动推断错误
)

# 手动指定schema的可靠写法
from pyspark.sql.types import StructType, StructField, StringType, IntegerType
schema = StructType([
    StructField("id", IntegerType(), True),
    StructField("name", StringType(), True),
    StructField("age", IntegerType(), True)
])

df = spark.read.csv(
    "your_file.dat",
    encoding="cp037",
    sep="|",
    header=False,
    schema=schema
)

固定宽度的文件 #

先以文本格式读取每行，再通过substring拆分字段：

from pyspark.sql.functions import substring

# 读取所有行
text_df = spark.read.text("your_file.dat", encoding="cp037")

# 按固定宽度拆分字段
df = text_df.select(
    substring("value", 1, 10).alias("id"),  # 第1-10位
    substring("value", 11, 15).alias("name"),  # 第11-25位（长度15）
    substring("value", 26, 5).alias("age")  # 第26-30位（长度5）
)

备选：提前转码为UTF-8（如需保留转码后文件） #

如果需要先将文件转码为通用编码（如UTF-8）再处理，用Python的codecs模块即可，无需依赖iconv：

import codecs

# 从cp037转码为UTF-8
with codecs.open("input.dat", "r", "cp037") as infile, open("output_utf8.txt", "w", "utf-8") as outfile:
    for line in infile:
        outfile.write(line)

转码完成后，即可用常规方式加载到Pandas/Spark。

注意事项 #

• 主机导出的.dat文件通常是固定宽度格式，建议先通过支持EBCDIC的编辑器（如Notepad++安装EBCDIC插件）查看文件结构，确认字段分隔符或宽度。
• cp037是标准EBCDIC编码，Python和Spark的编码支持无需额外安装依赖，直接使用即可。

内容的提问来源于stack exchange，提问作者saravana ir