如何在Azure Databricks Python Notebook中计算匹配大型机的二进制SHA256？

核心逻辑 #

要得到和Mainframe端匹配的SHA256，必须把Azure上的文件还原为Mainframe原生的CP1047编码二进制内容，再计算哈希。需解决两个关键问题：

1. 反转SFTP ASCII传输时的行尾格式转换（将Unix/Windows行尾转回Mainframe的EBCDIC换行符）
2. 将文件从ASCII编码转回CP1047编码

具体实现步骤 #

1. 读取Azure上的ASCII文件 #

用Databricks文件系统API以文本模式读取文件，保留行结构：

# 替换为你的实际文件路径
file_path = "/dbfs/mnt/your-storage/path/target-file.txt"

with open(file_path, 'r', encoding='ascii') as f:
    ascii_lines = f.readlines()

2. 还原Mainframe行尾格式 #

Mainframe EBCDIC文件的行尾通常是0x15（对应ASCII的ENQ字符），需将传输后的\n或\r\n替换回该字符：

# 移除每行的ASCII换行符，添加EBCDIC换行符
ebcdic_lines = [line.rstrip('\r\n') + '\x15' for line in ascii_lines]
ebcdic_content = ''.join(ebcdic_lines)

3. 转换为CP1047编码的二进制数据 #

将处理后的文本转换为Mainframe使用的CP1047编码字节流：

cp1047_bytes = ebcdic_content.encode('cp1047')

4. 计算SHA256哈希 #

用Python标准库计算二进制数据的SHA256：

import hashlib

sha256_obj = hashlib.sha256()
sha256_obj.update(cp1047_bytes)
matching_hash = sha256_obj.hexdigest()

print(f"与Mainframe一致的SHA256: {matching_hash}")

注意事项 #

• 若Mainframe文件使用其他行尾标记（如0x0D），需替换对应字符值。
• 若文件包含非ASCII的EBCDIC特殊字符，ASCII模式传输可能已损坏数据，建议重新用二进制模式SFTP传输，直接计算哈希更可靠。

内容的提问来源于stack exchange，提问作者newbie