GitLab环境下嵌套DataFrame扁平化失败问题求助

安全阿岳

2026-8-24

问题解决：GitLab环境下嵌套JSON数据扁平化异常

问题分析

你遇到的核心问题是：本地环境中df.details.apply(pd.Series)能正常将嵌套字典拆分为独立字段，但GitLab环境中却生成多个同名details列，存储的是键值对而非预期字段。大概率是两个原因导致：

GitLab环境拉取的data中，details列的元素并非原生字典，而是字符串形式的字典（比如"{'author_name':'Billy', ...}"）；
本地与GitLab环境的pandas版本差异，导致apply(pd.Series)的解析行为不一致。

解决方案

推荐使用pandas原生的pd.json_normalize()方法，它专门处理嵌套JSON结构，兼容性更强，无需手动拼接多级列名：

方案1：直接用json_normalize处理原始数据

如果拉取的原始data是列表形式的嵌套字典（比如你的示例数据组成的列表），直接用json_normalize生成扁平化DataFrame：

import pandas as pd

# 假设data是从GitLab拉取的嵌套字典列表
df = pd.json_normalize(data)
# 此时df直接包含id、entity_type、author_name、author_id、created_at列

方案2：修复现有代码（针对details列已存在的情况）

如果已经生成了包含details列的DataFrame，先确保details列是字典类型，再拆分：

import pandas as pd
import ast

# 拉取数据生成df
df = pd.DataFrame(data)

# 第一步：确保details列是字典类型（如果是字符串则转换）
def parse_dict(s):
    if isinstance(s, str):
        try:
            return ast.literal_eval(s)
        except:
            return {}
    return s

df['details'] = df['details'].apply(parse_dict)

# 第二步：拆分details列并合并到原df
sub_df = df['details'].apply(pd.Series)
df = pd.concat([df.drop('details', axis=1), sub_df], axis=1)