Python Pandas如何校验DataFrame保存为CSV后无信息丢失

你读回文件后多1列不是数据丢失，是pandas CSV读写默认逻辑不匹配导致的：

• to_csv() 默认会将DataFrame的索引作为第一列写入文件，你的数据集用datetime类型做索引，这部分内容会被单独存为CSV的第一列
• read_csv() 默认不会自动将第一列识别为索引，因此原datetime索引会被当成普通数据列加载，最终列数为50个原始业务列+1个索引列，合计51列。

如果要对齐读写行为：不需要保留索引就给to_csv()加index=False参数；需要保留datetime索引的话，读取时要加index_col=0, parse_dates=True参数，保证加载后的结构和原DataFrame一致。

不要用单列值计数这种抽样校验方式，按以下三层做校验，兼顾效率和准确性，对你177万行、50列的规模也能快速跑完：

第一步：对齐读写逻辑 #

先保证加载回来的DataFrame结构和原始数据对齐，避免把结构不匹配误判为数据丢失：

# 保存文件，需要保留索引就不要加index=False
origdf.to_csv('/blawblaw.csv')

# 读取时指定索引列、解析日期类型，对齐原结构
imdf = pd.read_csv(
    '/blawblaw.csv',
    index_col=0,
    parse_dates=True
)

第二步：快速粗校验（毫秒级完成） #

先校验结构一致性，这部分速度极快，有问题可以第一时间发现：

# 校验行列数完全一致
assert origdf.shape == imdf.shape, "行列数不匹配"
# 校验列名、列顺序完全一致
assert origdf.columns.tolist() == imdf.columns.tolist(), "列名/顺序不匹配"
# 校验索引（含datetime类型）完全一致
assert origdf.index.equals(imdf.index), "索引不匹配"

第三步：全量值与类型校验 #

用pandas内置的equals()方法做逐元素对比，这个方法是C层面实现的，比手写循环快数十倍，会同时校验值和数据类型。

注意：equals()是严格校验，值相同但类型不同的情况会判定为不一致，刚好覆盖CSV读写常见的类型丢失问题，比如原数据是bool类型读回后变成字符串/整数、浮点数精度丢失、datetime类型被读成字符串这类问题，都会被识别出来

if origdf.equals(imdf):
    print("校验通过：CSV保存读取无信息损失")
else:
    print("校验不通过，存在数据差异")

第四步：差异定位（仅校验不通过时运行） #

如果校验发现差异，不需要逐行遍历排查，用compare()方法直接输出所有差异点：

# 仅返回存在差异的单元格位置和两边的值
diff_result = origdf.compare(imdf)
print(diff_result)

CSV是无类型的纯文本格式，本身不存储数据类型元信息，即使读写参数对齐，也可能出现特殊值（比如空值、布尔值、带前导零的编码、高精度时间戳）的隐式转换问题。如果要求100%无信息损失，优先选择二进制存储格式：

• 跨语言、跨工具使用选parquet格式，读写速度是CSV的5-10倍，文件体积仅为CSV的1/5到1/10，自动保留索引、数据类型信息
• 仅在Python/pandas生态内使用选pickle格式，可以完全无损保留DataFrame的所有结构和数据属性

内容的提问来源于stack exchange，提问作者Mainland