Pandas循环处理DataFrame空值报错及填充需求实现求助

报错原因分析 #

• 方法调用错误：df['WARNSIGN_DTL'].isnull 未加括号，isnull()是pandas的方法，必须调用才会返回布尔值Series，直接写isnull会把方法对象和布尔值做&运算，触发TypeError。
• 行判断逻辑错误：循环中df['WARNSPEAK4DTL'].isnull()是判断整个列是否为空，而非当前行；且逻辑搞反——需要的是非空列来拼接，不是空列。
• 列名拼写错误：df['df.WARNBEHAV4DTL']多写了df.，正确列名是df['WARNBEHAV4DTL']。
• 循环效率极低：10万行DataFrame逐行循环处理速度极慢，不符合pandas的最佳实践。

修正方案 #

方案1：修正后的循环写法（不推荐用于大数据量） #

import pandas as pd

for i in df.index:
    # 修正：调用isnull()方法，针对当前行判断条件
    if df.loc[i, 'WARNSIGN_TP'] == 1 and pd.isna(df.loc[i, 'WARNSIGN_DTL']):
        parts = []
        # 非空时才添加对应前缀内容
        if not pd.isna(df.loc[i, 'WARNSPEAK4DTL']):
            parts.append(f'언어: {df.loc[i, "WARNSPEAK4DTL"]}')
        if not pd.isna(df.loc[i, 'WARNBEHAV4DTL']):
            parts.append(f'행동: {df.loc[i, "WARNBEHAV4DTL"]}')
        if not pd.isna(df.loc[i, 'WARNEMOTION4DTL']):
            parts.append(f'정서: {df.loc[i, "WARNEMOTION4DTL"]}')
        # 拼接所有非空部分
        df.at[i, 'WARNSIGN_DTL'] = ' '.join(parts)

方案2：高效向量化实现（推荐，适配10万行数据） #

利用apply方法避免逐行循环，大幅提升处理速度：

import pandas as pd

# 定义拼接逻辑函数
def build_warn_dtl(row):
    if row['WARNSIGN_TP'] != 1 or not pd.isna(row['WARNSIGN_DTL']):
        return row['WARNSIGN_DTL']
    parts = []
    if not pd.isna(row['WARNSPEAK4DTL']):
        parts.append(f'언어: {row["WARNSPEAK4DTL"]}')
    if not pd.isna(row['WARNBEHAV4DTL']):
        parts.append(f'행동: {row["WARNBEHAV4DTL"]}')
    if not pd.isna(row['WARNEMOTION4DTL']):
        parts.append(f'정서: {row["WARNEMOTION4DTL"]}')
    return ' '.join(parts)

# 应用函数到每一行
df['WARNSIGN_DTL'] = df.apply(build_warn_dtl, axis=1)

方案3：更简洁的向量化拼接（无需自定义函数） #

import pandas as pd

# 分别生成各列的前缀内容，空值转为空字符串
speak_col = df['WARNSPEAK4DTL'].apply(lambda x: f'언어: {x}' if not pd.isna(x) else '')
behav_col = df['WARNBEHAV4DTL'].apply(lambda x: f'행동: {x}' if not pd.isna(x) else '')
emotion_col = df['WARNEMOTION4DTL'].apply(lambda x: f'정서: {x}' if not pd.isna(x) else '')

# 拼接三列内容并去除多余空格
combined = speak_col + ' ' + behav_col + ' ' + emotion_col
combined = combined.str.strip()

# 仅在满足条件的行替换WARNSIGN_DTL
mask = (df['WARNSIGN_TP'] == 1) & df['WARNSIGN_DTL'].isna()
df.loc[mask, 'WARNSIGN_DTL'] = combined[mask]

验证结果 #

运行上述代码后，目标列会按预期填充为非空列的前缀拼接内容：

WARNSIGN_TP  WARNSPEAK4DTL WARNBEHAV4DTL WARNEMOTION4DTL                          WARNSIGN_DTL
0            1  enthutiastic        running      energetic  언어: enthutiastic 행동: running 정서: energetic
1            1  fillar words           NaN          happy        언어: fillar words 정서: happy
2            1     motivated       moaning            sad    언어: motivated 행동: moaning 정서: sad

内容的提问来源于stack exchange，提问作者Chung Joshua