Python中使用pandas apply调用自定义函数时如何返回多行生成DataFrame
问题根因
原函数在遍历实体时反复修改同一个传入的row对象,循环结束后仅返回1次row,因此pandas的apply只会捕获到最后一次修改的实体值,无法生成每个实体对应的独立行结果。
代码修改方案
1. 重构自定义实体识别函数
不再直接修改传入的原行对象,为每个实体独立生成一行结果,最终返回当前原行对应的所有实体行组成的列表,替换原来返回单个row的逻辑:
import pandas as pd def get_entity_rec(row): try: textcon = row['content'][0:2000] result = client.recognize_entities(documents=[textcon])[0] res_rows = [] # 遍历当前行识别到的所有实体 for entity in result.entities: # 拷贝原行的所有字段,生成独立的临时行 row_base = row.to_dict() row_base['text'] = entity.text row_base['category'] = entity.category row_base['subcategory'] = entity.subcategory res_rows.append(pd.Series(row_base)) # 可选兼容逻辑:如果当前行无实体,保留原行、实体字段置空 if not res_rows: row_base = row.to_dict() row_base['text'] = None row_base['category'] = None row_base['subcategory'] = None res_rows.append(pd.Series(row_base)) return res_rows except Exception as err: print("Encountered exception. {}".format(err)) # 异常场景可按需返回带错误标记的行,默认返回空列表跳过 return []
2. 调整apply调用逻辑
由于修改后的函数返回的是每个原行对应的结果行嵌套列表,需要把所有嵌套结果拼接成最终的长表结构:
# 逐行调用实体识别函数 raw_res = apandas2.apply(get_entity_rec, axis=1) # 展平嵌套结果,生成每个实体对应一行的最终DataFrame apandas3 = pd.concat([ pd.DataFrame(row_block) for row_block in raw_res if len(row_block) > 0 ], ignore_index=True)
关键注意点
- 不要直接修改传入的
row对象:按行传入的row是原DataFrame的视图,反复赋值不仅会导致循环覆盖结果,还可能意外篡改原DataFrame的数据。每次生成新行时用to_dict()拷贝原字段,才能保证每个实体行的独立性。 - 结构匹配:最终生成的
apandas3会自动继承原DataFrame的所有字段(比如path、content等),每个实体行都会完整保留原行的所有字段值,和期望的表结构完全一致。 - 性能优化:当前实现是逐行调用API,当原DataFrame行数较多时,可将所有行的文本收集后做批量API请求,拿到全量实体结果后再统一做行匹配展开,能大幅减少请求开销。
内容的提问来源于stack exchange,提问作者Jay T
相关产品推荐
相关产品推荐

