处理FFIEC制表符文本文件中的独立LF，解决SQL Server/Excel导入问题

问题场景 #

从FFIEC网站下载的<Call Reports - Single Period, Schedule RIE>格式制表符分隔文本文件，存在字段内包含无CR（回车符）前置的LF（换行符，\n），而每条记录的结尾均为标准CRLF（\r\n）序列。将这类文件导入SQL Server 2022或Excel时，字段内的LF会被误判为新记录的起始，导致导入异常。

运行环境为Windows 11 Pro，该脚本由SQL存储过程或Excel VBA通过Shell命令调用，属于文件导入前的清理脚本组。

初始方案问题 #

最初编写Python 3.12脚本，试图逐字符读取文件，将未被CR前置的LF替换为分号;，但脚本错误地替换了所有LF及CRLF序列，问题根源在于：

• Python默认的换行自动转换机制干扰了原始换行符的识别
• 循环逻辑遗漏了对合法CRLF中LF的保留处理

原代码：

import sys

def stripLFwoCR_file(file_path):
    # 读取整个文件内容
    with open(file_path, 'r', encoding='utf-8') as file:
        input_data = file.read()

    # 初始化输出内容
    output_data = []

    # 逐字符遍历输入内容
    # 将未被回车符'\r'前置的换行符'\n'替换为';'
    i = 0
    while i < len(input_data):
        if input_data[i] == '\n':
            # 如果前一个字符不是'\r'，则替换'\n'为';'
            if i == 0 or input_data[i-1] != '\r':
                output_data.append(';')
            # 跳过当前'\n'
        else:
            output_data.append(input_data[i])
        i += 1

    # 将修改后的内容写回文件（覆盖原文件）
    with open(file_path, 'w', encoding='utf-8') as file:
        file.write(''.join(output_data))

if __name__ == "__main__":
    args = sys.argv
    # args[0] = 当前脚本文件
    # args[1] = 要调用的函数名
    # args[2:] = 函数参数
    globals()[args[1]](*args[2:])

修正后的解决方案 #

查阅Python文档后，通过设置newline参数控制换行自动转换，同时修复循环逻辑，实现了仅替换孤立LF的需求：

修改后的代码：

import sys

def stripLFwoCR_file(file_path):
    # 读取整个文件内容，指定newline='\r\n'以保留原始换行符序列
    with open(file_path, 'r', encoding='utf-8', newline='\r\n') as file:
        input_data = file.read()

    # 初始化输出内容
    output_data = []

    # 逐字符遍历输入内容
    # 将未被回车符'\r'前置的换行符'\n'替换为';'
    i = 0
    while i < len(input_data):
        if input_data[i] == '\n':
            # 如果前一个字符不是'\r'，则替换'\n'为';'
            if i == 0 or input_data[i-1] != '\r':
                # 替换孤立的'\n'为';'
                output_data.append(';')
            else:
                # 保留合法CRLF中的'\n'
                output_data.append(input_data[i])
        else:
            output_data.append(input_data[i])
        i += 1

    # 将修改后的内容写回文件，指定newline='\n'控制输出换行格式
    with open(file_path, 'w', encoding='utf-8', newline='\n') as file:
        file.write(''.join(output_data))

if __name__ == "__main__":
    args = sys.argv
    # args[0] = 当前脚本文件
    # args[1] = 要调用的函数名
    # args[2:] = 函数参数
    globals()[args[1]](*args[2:])

关键修改点 #

• 读取文件时指定newline='\r\n'，强制Python以CRLF作为换行识别标准，避免自动转换原始换行符
• 修复循环逻辑：当LF前是CR时保留该LF，仅替换孤立的LF为分号
• 写入文件时指定newline='\n'，确保输出的换行符符合处理要求

最优方案 #

测试了@JRiggles提供的更简洁实现，已标记为最优解

内容的提问来源于stack exchange，提问作者HBreshears