如何为从固定宽文件生成的Python DataFrame生成哈希/校验和值

没问题，我来一步步帮你搞定这个需求：先确保正确读取文件的前13个字符，再生成DataFrame的哈希/校验和值。

用pd.read_fwf时，通过colspecs参数指定只截取第0到13位（左闭右开区间，刚好对应前13个字符），这样就能完美排除后面的日期部分。代码示例如下：

import pandas as pd

# 读取文件，只取前13个字符，自定义列名方便后续处理
df1 = pd.read_fwf("sample_hash1.txt", colspecs=[(0, 13)], names=["fixed_prefix"])
df2 = pd.read_fwf("sample_hash2.txt", colspecs=[(0, 13)], names=["fixed_prefix"])

因为你的两个文件前13位内容完全一致，所以生成的df1和df2内容也会完全相同。

根据你的需求，有两种常用的哈希生成方式，分别适用于不同场景：

场景1：生成整个DataFrame的全局哈希值 #

如果你需要一个单一的哈希值来校验整个DataFrame的内容一致性，可以把DataFrame转换成标准化的字符串/字节流，再用Python内置的hashlib库计算哈希。这种方法能确保内容完全相同的DataFrame生成完全相同的哈希值。

示例代码：

import hashlib

def calculate_df_global_hash(df, algorithm="sha256"):
    # 转换为无索引、无表头的标准化字符串，避免无关内容干扰哈希
    standardized_str = df.to_string(index=False, header=False)
    # 编码为字节流
    byte_data = standardized_str.encode("utf-8")
    # 初始化哈希对象并计算
    hash_obj = hashlib.new(algorithm)
    hash_obj.update(byte_data)
    # 返回十六进制格式的哈希值
    return hash_obj.hexdigest()

# 计算两个DataFrame的哈希值（结果应该完全一致）
hash_df1 = calculate_df_global_hash(df1)
hash_df2 = calculate_df_global_hash(df2)

print(f"df1全局哈希值: {hash_df1}")
print(f"df2全局哈希值: {hash_df2}")

如果担心字符串格式的不确定性，也可以用df.to_json()替代to_string()——JSON的标准化结构能进一步保证内容相同则字符串完全一致。

场景2：为每行生成单独的哈希值 #

如果需要逐行校验内容，可以用apply方法为每行生成哈希：

def calculate_row_hash(row, algorithm="sha256"):
    # 将行内所有元素拼接为字符串
    row_str = "".join(str(cell) for cell in row)
    byte_data = row_str.encode("utf-8")
    hash_obj = hashlib.new(algorithm)
    hash_obj.update(byte_data)
    return hash_obj.hexdigest()

# 为DataFrame添加每行的哈希列
df1["row_hash"] = df1.apply(calculate_row_hash, axis=1)
df2["row_hash"] = df2.apply(calculate_row_hash, axis=1)

print(df1)

• 哈希算法选择：sha256比md5安全性更高，如果你只是用于内容校验，两者都能满足需求，但更推荐sha256。
• 确保一致性：如果后续需要对比哈希，一定要保证转换为字符串/字节流的规则完全一致（比如是否保留索引、表头，分隔符是什么等）。

内容的提问来源于stack exchange，提问作者goks