Google Bigframes中DataFrame apply(axis=1)函数报错求助

问题原因 #

BigFrames的DataFrame.apply与Pandas实现完全不同：

• BigFrames默认按列应用函数，不支持axis=1参数，传入该参数会直接触发TypeError: condition() got an unexpected keyword argument 'axis'。
• 你的函数是为行级处理设计的，但BigFrames会把函数传递给每一列，导致row实际是列Series对象，访问row["month"]时触发NA布尔值判断的歧义错误TypeError: boolean value of NA is ambiguous。

解决方案 #

方案1：矢量化操作（推荐，高性能） #

分布式计算场景下，矢量化操作会被转化为BigQuery原生SQL执行，效率远高于行级循环。用bigframes.pandas.np.where实现你的逻辑：

import bigframes.pandas as bpd

# 生成IDT列
valodetail_df['IDT'] = bpd.np.where(
    (valodetail_df['month'] >= 1) & (valodetail_df['month'] <= 6),
    # 上半年格式
    valodetail_df['year'].astype(str).str.zfill(2) + 'S1' + valodetail_df['CODPY'] + valodetail_df['CODDE'],
    # 下半年格式
    valodetail_df['year'].astype(str).str.zfill(2) + 'S2' + valodetail_df['CODPY'] + valodetail_df['CODDE']
)

如果需要处理month列的NA值，可嵌套条件：

valodetail_df['IDT'] = bpd.np.where(
    valodetail_df['month'].isna(),
    'NA',  # NA时的默认值，可自定义
    bpd.np.where(
        (valodetail_df['month'] >= 1) & (valodetail_df['month'] <= 6),
        valodetail_df['year'].astype(str).str.zfill(2) + 'S1' + valodetail_df['CODPY'] + valodetail_df['CODDE'],
        valodetail_df['year'].astype(str).str.zfill(2) + 'S2' + valodetail_df['CODPY'] + valodetail_df['CODDE']
    )
)

方案2：行级apply（仅适合小数据量场景） #

如果必须使用自定义行处理函数，使用BigFrames提供的row_apply方法（注意：大数据量下性能极差，不推荐）：

from bigframes.pandas.api.extensions import row_apply

def condition(row):
    if 1 <= row["month"] <= 6:
        return f"{row['year']:02}S1{row['CODPY']}{row['CODDE']}"
    else:
        return f"{row['year']:02}S2{row['CODPY']}{row['CODDE']}"

valodetail_df['IDT'] = valodetail_df.row_apply(condition)

内容的提问来源于stack exchange，提问作者wymeka