如何将每行存储JSON对象的TXT文件加载为DataFrame

你的txt文件属于标准JSON Lines格式（每行存储一个独立JSON对象），可以用以下两种方式加载：

方案1：直接调用pandas内置接口（无脏数据时优先使用） #

pandas的read_json原生支持该格式，只需指定lines=True参数即可完成加载：

import pandas as pd

# 将引号内的路径替换为你的txt文件实际存储路径
df = pd.read_json("transaction_data.txt", lines=True)

方案2：兼容格式错误行的手动加载方式 #

如果文件中存在空行、JSON格式破损的无效行，可以用逐行解析过滤的方式避免加载失败：

import pandas as pd
import json

valid_data = []
# 将引号内的路径替换为你的txt文件实际存储路径
with open("transaction_data.txt", "r", encoding="utf-8") as f:
    for line in f:
        cleaned_line = line.strip()
        # 跳过空行
        if not cleaned_line:
            continue
        try:
            row_data = json.loads(cleaned_line)
            valid_data.append(row_data)
        except json.JSONDecodeError:
            # 格式错误的行直接跳过，可自行添加日志记录错误行内容
            continue

df = pd.DataFrame(valid_data)

加载完成后可以执行df.head()查看前5行数据，确认字段、内容和预期一致即可。

内容的提问来源于stack exchange，提问作者Abhishek Mishra