PowerBI GetActivities数据写入Pandas时将Datasets列转为JSON字符串存入Parquet的问题求助

问题分析 #

从你的描述来看，核心需求是：

• 把PowerBI GetActivities返回的Datasets列（有时存在，值为字典组成的列表/JSON字符串）统一转成标准JSON字符串存入Parquet的字符串字段
• 避免处理缺失列或空值时崩溃
• 确保Synapse无服务器池的外部表能正常读取该字段

之前的方法存在两个关键问题：

1. ', '.join(...)仅适用于字符串列表，无法处理字典组成的嵌套结构
2. ast.literal_eval的列表推导式没有处理缺失列/空值场景，且转成Python对象后会让Parquet存储复杂类型（Synapse外部表无法直接识别为字符串）

解决方案 #

我们可以通过统一的转换函数覆盖所有场景：处理缺失列、空值、Python对象、字符串形式的JSON，最终输出标准JSON字符串。

具体代码实现

import json
import ast
import pandas as pd

# 1. 先处理列不存在的情况：如果Datasets列不存在，初始化为空字符串列
if 'Datasets' not in finalResult.columns:
    finalResult['Datasets'] = ''
else:
    # 定义转换函数：将任意有效输入转为标准JSON字符串，空值/无效值转为空字符串
    def convert_to_json_string(value):
        # 处理空值场景（NaN、空列表、空字符串）
        if pd.isna(value) or value == [] or value == '':
            return ''
        
        # 场景1：输入是字符串形式的Python列表/字典（比如你拿到的原始数据是字符串）
        if isinstance(value, str):
            try:
                # 先转成Python对象，再转成标准JSON字符串（保证格式统一）
                py_obj = ast.literal_eval(value)
                return json.dumps(py_obj)
            except (SyntaxError, ValueError):
                # 如果解析失败（比如格式错误），直接返回原字符串
                return value
        
        # 场景2：输入已经是Python列表/字典（GetActivities返回的已解析数据）
        elif isinstance(value, (list, dict)):
            return json.dumps(value)
        
        # 其他未知场景：转成字符串返回
        else:
            return str(value)
    
    # 应用转换函数到Datasets列
    finalResult['Datasets'] = finalResult['Datasets'].apply(convert_to_json_string)

代码说明 #

1. 缺失列处理：先检查Datasets列是否存在，不存在则直接创建空字符串列，避免后续操作崩溃
2. 空值兼容：对NaN、空列表、空字符串统一返回空字符串，保证列类型完全一致
3. 格式统一：
   • 对于字符串形式的Python列表/字典，先通过ast.literal_eval转成Python对象，再用json.dumps生成标准JSON字符串（避免Python风格的引号/格式和JSON不兼容）
   • 对于已经是Python对象的列表/字典，直接用json.dumps转成标准JSON字符串
4. 异常容错：解析失败的字符串直接返回原内容，避免批量处理时因个别异常数据导致整个任务崩溃

效果验证 #

处理后，Datasets列的所有值都会是标准JSON字符串（比如"[{"DatasetId":"c88c746a-2c96-4413-8e5d-36d93391d393","DatasetName":"DS_HS_301_HSIndex"},{"DatasetId":"467fcf7a-b317-432c-bbc6-2d9699ec2f9e","DatasetName":"DS_HS_104_Incident"}]"），存入Parquet后：

• 该字段会被识别为纯字符串类型
• Synapse无服务器池的外部表可以直接定义该列为STRING类型，正常读取解析

额外注意事项 #

• 如果PowerBI GetActivities返回的Datasets已经是解析后的Python对象（不是字符串），可以去掉ast.literal_eval的部分，直接用json.dumps处理
• 批量处理前建议先取少量数据测试，验证转换逻辑是否符合预期

内容来源于stack exchange