如何避免COMP-3打包十进制中的x0d被解析为换行符？

问题背景 #

需要向大型机发送包含COMP-3（压缩十进制）格式数值的文件，但负数转换为COMP-3后，末尾的0xD二进制值会被误解析为ASCII换行符\n，导致数据丢失；运行Python代码打印结果时也会触发换行。尝试切换编码为cps500替代utf-8，未解决问题。

问题根源 #

COMP-3格式中的0xD是二进制符号位（表示负数），并非ASCII字符。问题出在数据传输或打印时被以文本模式解析，将二进制值0xD映射为换行符。

解决方案 #

1. 全程使用二进制模式处理数据 #

• 文件读写：Python中已使用wb二进制写文件，这部分正确，不要改为文本模式（w）。
• 传输环节：如果用FTP/SFTP传输文件，必须设置二进制传输模式（比如FTP执行TYPE I命令），禁止用ASCII模式传输，否则会自动转换换行符。

2. 修正COMP-3打包函数的实现 #

原函数使用pack('>q', b)打包成8字节long long，可能导致高位冗余或截断错误。以下是更准确的COMP-3打包实现，确保生成的二进制数据符合大型机要求：

from struct import pack

def pack_comp3(valor, total_digits, decimal_places):
    """
    打包COMP-3格式数值，对应COBOL格式：PIC 9(total_digits)V9(decimal_places)
    :param valor: 输入数值（整数或浮点数）
    :param total_digits: 整数部分最大位数
    :param decimal_places: 小数部分位数
    """
    # 确保小数位数不超过总位数
    if decimal_places > total_digits:
        decimal_places = total_digits

    # 将数值转换为整数（放大10^decimal_places倍）
    scaled_val = int(round(valor * (10 ** decimal_places)))
    negative = scaled_val < 0
    abs_val = abs(scaled_val)

    # 转换为固定长度的字符串，总长度为 total_digits + decimal_places
    str_val = f"{abs_val:0{total_digits + decimal_places}d}"
    
    # 计算COMP-3字节长度：(总位数 + 1) // 2
    byte_length = (len(str_val) + 1) // 2
    packed = bytearray()

    # 每两个数字打包成一个字节
    for i in range(0, len(str_val), 2):
        if i + 1 < len(str_val):
            high_digit = int(str_val[i])
            low_digit = int(str_val[i+1])
            packed_byte = (high_digit << 4) | low_digit
            packed.append(packed_byte)
        else:
            # 最后一个字节只存一个数字，高位补0，低位放符号位
            high_digit = int(str_val[i])
            sign_nibble = 0xD if negative else 0xC
            packed_byte = (high_digit << 4) | sign_nibble
            packed.append(packed_byte)

    # 如果长度不足，高位补0（根据需求调整，这里假设左对齐补0）
    while len(packed) < byte_length:
        packed.insert(0, 0x00)

    return bytes(packed)

if __name__ == '__main__':
    with open('arquivo.bin', 'wb') as pdd:
        for linhas in range(1, 11):
            pdd.write(pack_comp3(linhas, 7, 2))
            pdd.write(pack_comp3(-1 * linhas, 7, 2))

3. 打印二进制数据时避免解析为ASCII #

直接打印字节串会让终端将0xD解析为换行，建议打印十六进制表示来验证：

# 示例：打印pack_comp3(-10,7,2)的十六进制结果
result = pack_comp3(-10,7,2)
print(result.hex())  # 输出类似 '00000000001d'，不会触发换行

关键注意事项 #

• 大型机的COMP-3格式通常是大端字节序，上述实现已符合要求。
• 传输时必须禁用任何自动换行符转换机制，坚持二进制模式传输。

内容的提问来源于stack exchange，提问作者Wagner Leal dos Santos