Python按指定时间范围筛选文件数据并提取指定字段生成新文件的实现问题

嘿，我来帮你搞定这个问题！你的需求很清晰：从file.txt里筛选出指定时间范围内的行，同时去掉每行最后一个温度字段，保存到新文件里。先看看你原来代码里的几个关键问题，再给你一个能正常运行的解决方案。

你代码里的主要问题 #

1. 缺少模块导入：你用到了datetime模块，但没有在代码开头导入它，这会直接导致报错。
2. 时间拼接与格式错误：
   • full_time = [d + h for d,h in zip(date, hours, start, end)]这行逻辑完全不对，zip里的参数数量不匹配，而且日期和时间之间应该保留空格（原日志里是01/31/2021 08:51:41.222，有空格）。
   • 你用的时间格式字符串'%d/%m/%Y%H:%M:%S.%f'和日志里的格式不匹配：日志是月/日/年（比如01/31/2021是1月31日），而且日期和时间之间有空格，正确的格式应该是'%m/%d/%Y %H:%M:%S.%f'。
3. 筛选逻辑缺失：if not any( )这里没有填写判断条件，根本起不到筛选作用。
4. 内存效率问题：把所有行的字段都存成列表，对于大文件来说会占用过多内存，逐行处理更合适。

修正后的完整代码 #

from datetime import datetime

# 获取用户输入的起止时间，注意输入格式要和日志一致，比如：01/31/2021 08:51:42.000
start_time_str = input('Insert starting time for your range (format: mm/dd/yyyy HH:MM:SS.sss): ')
end_time_str = input('Insert ending time for your range (format: mm/dd/yyyy HH:MM:SS.sss): ')

# 把输入的时间字符串转换成datetime对象
try:
    start_datetime = datetime.strptime(start_time_str, '%m/%d/%Y %H:%M:%S.%f')
    end_datetime = datetime.strptime(end_time_str, '%m/%d/%Y %H:%M:%S.%f')
except ValueError:
    print("Error: 输入的时间格式不正确，请按照要求输入！")
    exit()

# 处理文件：读取原文件，筛选后写入新文件
input_file_path = r"C:\Users\Username\Desktop\file.txt"
output_file_path = r"C:\Users\Username\Desktop\newfile.txt"

with open(input_file_path, 'r') as old_file, open(output_file_path, 'w') as new_file:
    for line in old_file:
        line = line.strip()
        if not line:  # 跳过空行
            continue
        # 分割每行的字段
        parts = line.split()
        # 拼接日期和时间部分，转换成datetime对象
        line_datetime_str = f"{parts[0]} {parts[1]}"
        try:
            line_datetime = datetime.strptime(line_datetime_str, '%m/%d/%Y %H:%M:%S.%f')
        except ValueError:
            print(f"Warning: 无法解析行的时间格式，跳过该行: {line}")
            continue
        # 判断当前行的时间是否在指定范围内
        if start_datetime <= line_datetime <= end_datetime:
            # 保留前三个字段，用空格拼接后写入新文件
            new_line = ' '.join(parts[:3]) + '\n'
            new_file.write(new_line)

print("处理完成！结果已保存到newfile.txt")

代码说明 #

1. 模块导入：开头导入datetime模块，用于时间解析和比较。
2. 输入处理：要求用户按照日志的时间格式输入起止时间，并且做了格式校验，如果输入错误会提示并退出。
3. 逐行处理：
   • 读取每一行后先去掉首尾空白，跳过空行。
   • 分割每行的字段，拼接日期和时间部分，转换成datetime对象。
   • 比较当前行的时间是否在用户指定的范围内。
   • 如果符合条件，就把前三个字段拼接成新行，写入输出文件。
4. 错误处理：添加了异常捕获，遇到格式错误的行会跳过并给出提示，避免程序崩溃。

使用示例 #

比如你想筛选01/31/2021 08:51:42.000到01/31/2021 08:51:42.999之间的行，输入：

Insert starting time for your range (format: mm/dd/yyyy HH:MM:SS.sss): 01/31/2021 08:51:42.000
Insert ending time for your range (format: mm/dd/yyyy HH:MM:SS.sss): 01/31/2021 08:51:42.999

处理后新文件里的内容就是：

01/31/2021 08:51:42.269 5798
01/31/2021 08:51:42.456 5791
01/31/2021 08:51:42.660 5800
01/31/2021 08:51:42.878 5781

内容的提问来源于stack exchange，提问作者Zeugma