COBOL二进制表文件转换为Pandas DataFrame异常问题求解

错误原因 #

• COBOL二进制文件为固定长度记录结构，字段存储格式包含COBOL专属的COMP（二进制整数）、COMP-3（压缩十进制）等类型，普通numpy按通用int/object类型读取无法匹配存储规则，会出现乱码或报错。
• 直接用cp500解码仅支持处理显示型字符字段，无法识别压缩数值类型；多余空字节是因为COBOL字段为固定长度分配，未占满的位置会补空字符。
• 无COPYBOOK字段规则定义的前提下，无法通用拆分多字段、处理不同类型的字段值。

numpy+pandas 原生实现方案（支持多行列扩展） #

需要提前获取对应COBOL文件的COPYBOOK定义，明确每个字段的类型、长度、存储格式、编码规则，再按以下步骤处理：

单字段测试场景实现 #

import numpy as np
import pandas as pd

# 根据COPYBOOK定义结构化dtype，此处示例为6位cp500编码的字符型月份字段
dtype = np.dtype([
    ("month", "S6")  # 字段名：month，类型：字节串，长度：6字节
])

# 读取二进制文件
arr = np.fromfile("test.cbl", dtype=dtype)

# 转DataFrame后做解码去空处理
df = pd.DataFrame(arr)
df["month"] = df["month"].str.decode("cp500").str.strip(b"\x00 ")

运行后df["month"]即可得到正确的202109值。

多字段通用场景扩展 #

针对包含COMP、COMP-3等特殊类型字段的多字段表格，补充对应类型的解码函数即可，示例如下：

import numpy as np
import pandas as pd

# COMP-3压缩十进制解码函数
def unpack_comp3(data: bytes, decimal_places: int = 0) -> int | float:
    num = 0
    for byte in data[:-1]:
        num = num * 100 + (byte >> 4) * 10 + (byte & 0x0F)
    last_byte = data[-1]
    num = num * 10 + (last_byte >> 4)
    # 处理负数符号位
    if (last_byte & 0x0F) in (0x0D, 0x0B):
        num = -num
    # 处理小数位
    return num / (10 ** decimal_places) if decimal_places > 0 else num

# 多字段dtype定义示例，根据COPYBOOK规则调整
dtype = np.dtype([
    ("id", ">i4"),  # 大端4字节整数，对应COBOL COMP PIC 9(8)
    ("username", "S12"), # 12字节字符型用户名
    ("trans_amount", "S6") # 6字节COMP-3，对应PIC 9(9)V99
])

# 读取文件转DataFrame
arr = np.fromfile("multi_column.cbl", dtype=dtype)
df = pd.DataFrame(arr)

# 各字段按类型处理
df["id"] = df["id"].astype(int)
df["username"] = df["username"].str.decode("cp500").str.strip()
df["trans_amount"] = df["trans_amount"].apply(unpack_comp3, decimal_places=2)

输出到其他格式 #

• 转parquet：直接调用df.to_parquet("output.parquet")
• 转pyspark DataFrame：调用spark.createDataFrame(df)即可

内容的提问来源于stack exchange，提问作者Paul Green