Pandas DataFrame行批量格式化JSON模板的高效实现方案咨询

实现方案说明 #

最优方案：向量化字典构造（无转义风险、效率最高） #

放弃字符串拼接JSON模板的写法，直接构造Python字典结构，既避免特殊字符转义错误，又能充分利用pandas向量化特性，效率比iterrows遍历高10~100倍，数据量越大优势越明显。
代码示例：

import pandas as pd
import json

# 定义单行结构生成逻辑
def build_single_block(row):
    return {
        "type": "section",
        "fields": [
            {
                "type": "mrkdwn",
                "text": f"Today *{row['total_val']}* customers saved {row['percent_derived']}%."
            }
        ]
    }

# 逐行应用生成逻辑，直接转为结果列表
block_list = df.apply(build_single_block, axis=1).tolist()

# 最终上传时统一转JSON字符串即可，不需要单条序列化/反序列化
upload_json = json.dumps(block_list)

保留字符串模板的简化方案 #

如果你需要保留字符串模板的写法，可以用pandas内置的str.format实现批量变量替换，不需要手动遍历：

# 定义文本模板，不需要额外嵌套大括号
text_template = "Today *{total_val}* customers saved {percent_derived}%."

# 批量生成所有格式化后的文本
df["formatted_text"] = text_template.format(**df)

# 构造最终结构
block_list = df.apply(lambda row: {
    "type": "section",
    "fields": [{"type": "mrkdwn", "text": row["formatted_text"]}]
}, axis=1).tolist()

原有写法的优化点 #

• iterrows是pandas性能最低的遍历方式，每一行都会生成独立的Series对象，仅适合100条以内的小数据量场景
• 单条调用json.loads再加入列表属于冗余操作，直接构造字典最后统一序列化即可，减少不必要的性能开销
• 你之前用assign方法失败的原因是assign的入参是完整DataFrame而非单行数据，搭配apply逐行处理才是正确用法

内容的提问来源于stack exchange，提问作者jconnor198