如何从网页获取的文本文件提取时间戳并做格式转换与筛选？

1. 提取时间戳并转换为datetime对象 #

先通过requests获取目标文本文件，逐行处理时提取开头的时间戳字符串，再转换为可操作的datetime对象：

import requests
from datetime import datetime, timedelta

# 获取网页文本文件
response = requests.get("你的目标文件URL")
response.raise_for_status()
log_lines = response.text.splitlines()

# 定义时间戳解析格式
timestamp_format = "%a %b %d %H:%M:%S %Y"
parsed_timestamps = []

for line in log_lines:
    if not line.strip():
        continue
    # 提取[]包裹的时间戳（固定长度截取）
    timestamp_str = line[1:25]
    try:
        dt_obj = datetime.strptime(timestamp_str, timestamp_format)
        parsed_timestamps.append(dt_obj)
    except ValueError:
        # 跳过格式异常的行
        continue

# 打印提取的datetime对象
for dt in parsed_timestamps:
    print(dt)

2. 筛选最近7天的记录 #

基于上述解析结果，计算7天前的时间阈值，过滤出符合条件的记录：

# 计算7天前的时间阈值
seven_days_ago = datetime.now() - timedelta(days=7)

# 筛选最近7天的时间戳
recent_timestamps = [dt for dt in parsed_timestamps if dt >= seven_days_ago]

# 打印筛选结果
print("最近7天的时间戳：")
for dt in recent_timestamps:
    print(dt)

3. 转换为可存储的字符串格式 #

若需将datetime对象转为便于存储和后续解析的字符串，推荐使用ISO标准格式或自定义固定格式：

# 转换为ISO格式字符串（便于跨系统解析）
iso_timestamps = [dt.isoformat() for dt in parsed_timestamps]

# 或还原为原格式字符串（去掉[]）
custom_str_timestamps = [dt.strftime("%a %b %d %H:%M:%S %Y") for dt in parsed_timestamps]

# 打印转换后的字符串
print("ISO格式时间戳：")
for ts in iso_timestamps:
    print(ts)

注意事项 #

• 若系统locale默认非英文，需手动指定以确保时间解析正常：

  import locale
  locale.setlocale(locale.LC_TIME, 'en_US.UTF-8')  # Linux/macOS
  # Windows环境可使用 locale.setlocale(locale.LC_TIME, 'English_US')
  

• 处理超大文件时，建议用流式读取避免内存占用过高：

  with requests.get("你的目标文件URL", stream=True) as response:
      response.raise_for_status()
      for line in response.iter_lines(decode_unicode=True):
          if line:
              # 逐行处理逻辑
              pass
  

内容的提问来源于stack exchange，提问作者manuva