Python如何从TXT服务器日志提取指定字段生成DataFrame与CSV

前置依赖 #

需要先安装pandas库，未安装的话执行以下命令：
pip install pandas

实现逻辑 #

针对百万级日志采用逐行读取的方式处理，避免一次性加载全量文件占满内存，每一行先解析为完整键值字典，再过滤得到目标字段，最后批量转DataFrame导出CSV。

完整代码 #

import re
import pandas as pd

# 配置参数
LOG_PATH = "你的服务器日志文件路径.txt"  # 替换为实际日志文件路径
OUTPUT_CSV_PATH = "提取结果.csv"  # 替换为实际输出路径
TARGET_FIELDS = ["Date", "id", "endpoint"]

data = []
with open(LOG_PATH, "r", encoding="utf-8") as f:
    for line in f:
        line = line.strip()
        if not line:
            continue
        # 正则匹配所有键值对，兼容值含空格的场景（比如Date字段带空格时间）
        kv_items = re.findall(r"(\w+)=([^=]+)(?=\s+\w+=|$)", line)
        full_log_dict = dict(kv_items)
        # 只提取指定字段，缺失字段默认填充空字符串
        filtered_dict = {field: full_log_dict.get(field, "") for field in TARGET_FIELDS}
        data.append(filtered_dict)

# 字典列表转DataFrame
df = pd.DataFrame(data)
# 导出CSV，不保留索引列
df.to_csv(OUTPUT_CSV_PATH, index=False, encoding="utf-8-sig")

可选优化 #

如果日志量超过1000万条，可以加分批落盘逻辑，每处理10万条就先写入一次CSV，避免程序异常中断导致全量数据丢失。

内容的提问来源于stack exchange，提问作者confusedprogrammer