You need to enable JavaScript to run this app. Python中使用pandas apply调用自定义函数时如何返回多行生成DataFrame
优惠活动
大模型
产品
解决方案
定价
更多

Python中使用pandas apply调用自定义函数时如何返回多行生成DataFrame

问题根因

原函数在遍历实体时反复修改同一个传入的row对象,循环结束后仅返回1次row,因此pandas的apply只会捕获到最后一次修改的实体值,无法生成每个实体对应的独立行结果。

代码修改方案

1. 重构自定义实体识别函数

不再直接修改传入的原行对象,为每个实体独立生成一行结果,最终返回当前原行对应的所有实体行组成的列表,替换原来返回单个row的逻辑:

import pandas as pd

def get_entity_rec(row):
    try:
        textcon = row['content'][0:2000]
        result = client.recognize_entities(documents=[textcon])[0]
        res_rows = []
        # 遍历当前行识别到的所有实体
        for entity in result.entities:
            # 拷贝原行的所有字段,生成独立的临时行
            row_base = row.to_dict()
            row_base['text'] = entity.text
            row_base['category'] = entity.category
            row_base['subcategory'] = entity.subcategory
            res_rows.append(pd.Series(row_base))
        
        # 可选兼容逻辑:如果当前行无实体,保留原行、实体字段置空
        if not res_rows:
            row_base = row.to_dict()
            row_base['text'] = None
            row_base['category'] = None
            row_base['subcategory'] = None
            res_rows.append(pd.Series(row_base))
        return res_rows
    except Exception as err:
        print("Encountered exception. {}".format(err))
        # 异常场景可按需返回带错误标记的行,默认返回空列表跳过
        return []

2. 调整apply调用逻辑

由于修改后的函数返回的是每个原行对应的结果行嵌套列表,需要把所有嵌套结果拼接成最终的长表结构:

# 逐行调用实体识别函数
raw_res = apandas2.apply(get_entity_rec, axis=1)
# 展平嵌套结果,生成每个实体对应一行的最终DataFrame
apandas3 = pd.concat([
    pd.DataFrame(row_block) 
    for row_block in raw_res 
    if len(row_block) > 0
], ignore_index=True)
关键注意点
  • 不要直接修改传入的row对象:按行传入的row是原DataFrame的视图,反复赋值不仅会导致循环覆盖结果,还可能意外篡改原DataFrame的数据。每次生成新行时用to_dict()拷贝原字段,才能保证每个实体行的独立性。
  • 结构匹配:最终生成的apandas3会自动继承原DataFrame的所有字段(比如path、content等),每个实体行都会完整保留原行的所有字段值,和期望的表结构完全一致。
  • 性能优化:当前实现是逐行调用API,当原DataFrame行数较多时,可将所有行的文本收集后做批量API请求,拿到全量实体结果后再统一做行匹配展开,能大幅减少请求开销。

内容的提问来源于stack exchange,提问作者Jay T

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.31 18:54:02