pandas按行统计DataFrame两列单词数求和新增列的实现问题
代码修正方案
原代码问题定位
- 缺失
axis=1配置:DataFrame.apply默认沿列方向(axis=0)执行计算,也就是逐列传入lambda,没有按行匹配两个字段的逻辑,计算结果和单行的两列内容完全无关。 - 计算逻辑偏差:原代码直接把传入的整体数据转成字符串再拆分,拆分内容包含了pandas自动生成的Series结构文本,并不是两个字段本身的单词数,自然没法得到正确的求和结果。
正确实现方式
矢量化计算(推荐)
用pandas内置的字符串处理方法逐列计算单词数再求和,大文本量下计算效率远高于逐行遍历:
# 填充空值避免报错,默认按任意连续空白拆分,自动忽略首尾空格 q_word_cnt = df['question'].fillna('').str.split().str.len() a_word_cnt = df['answer'].fillna('').str.split().str.len() # 两列计数相加生成新列 df['word_count'] = q_word_cnt + a_word_cnt
这种方法不会因为单词间多空格、字段首尾带空格出现计数偏差,也不会碰到空值直接报错。
逐行apply写法
如果需要沿用apply的编码思路,需要调整两处关键逻辑:
- 给apply添加
axis=1参数,让计算沿行方向逐行执行 - lambda内部单独读取该行的
question和answer字段分别计算单词数,不要把整行数据直接转字符串
示例代码:
df['word_count'] = df.apply( lambda row: len(str(row['question']).split()) + len(str(row['answer']).split()), axis=1 )
两种实现的计算结果可以完全匹配示例预期:
- 第1行:question字段5个单词,answer字段3个单词,总计8
- 第2行:question字段2个单词,answer字段1个单词,总计3
- 第3行:question字段4个单词,answer字段1个单词,总计5
注意:逐行apply的写法在万行以上的数据量下性能会明显低于矢量化方案,日常使用优先选前者。
内容的提问来源于stack exchange,提问作者jonas。
相关产品推荐
相关产品推荐

