Python中规范化CloudWatch日志JSON并转换为DataFrame

你只需要先把每条日志的field/value嵌套结构展平为普通键值对字典，再传入pandas.DataFrame即可得到目标表结构，不需要额外依赖其他库。

方法1：原生Python预处理（可读性最佳） #

先通过循环+字典推导式完成结构转换，再生成DataFrame，逻辑直观易调试：

import pandas as pd

# 此处raw_logs替换为boto3接口返回的完整日志响应结果
# 单条日志的结构与你给出的示例完全一致
processed_rows = []
for log_item in raw_logs:
    # 将[{"field":x, "value":y}, ...]结构转为{x:y, ...}
    flat_row = {kv["field"]: kv["value"] for kv in log_item}
    processed_rows.append(flat_row)

# 直接生成目标DataFrame
df = pd.DataFrame(processed_rows)

方法2：pandas一步转换 #

不需要单独维护预处理列表，直接通过列表推导式在DataFrame初始化时完成转换：

import pandas as pd

df = pd.DataFrame(
    [{kv["field"]: kv["value"] for kv in log_item} for log_item in raw_logs]
)

由于你已确认所有日志字段集合完全一致、无更深层嵌套结构，上述代码无需额外处理字段缺失、嵌套解析逻辑，运行后即可得到列名为各字段名、每行对应一条日志的目标表，和你给出的示例表结构完全匹配。

内容的提问来源于stack exchange，提问作者Wags