PySpark调用sql方法报Py4JException，求修复方案及版本适配建议

算力阿峰

2026-7-6

问题修复与版本适配说明

错误修复

错误根源

触发Py4JError的核心原因是SQL语句存在语法错误（多余的反引号），同时代码存在可优化的冗余写法和弃用API使用问题。

修复后的完整代码

def calculating_click(df):
    # 过滤点击行为数据
    click_data = df.filter(df.custom_track == "click")
    # 合并空值填充操作，一次完成所有字段的默认值设置
    click_data = click_data.na.fill({
        'bid': 0,
        'job_id': 0,
        'publisher_id': 0,
        'group_id': 0,
        'campaign_id': 0
    })
    # 使用Spark 2.0+推荐的临时视图创建方式，替代已弃用的registerTempTable
    click_data.createOrReplaceTempView('clicks')
    # 修正SQL语句中的反引号错误，格式化SQL提升可读性
    click_output = spark.sql("""
        SELECT 
            job_id,
            date(ts) as date,
            hour(ts) as hour,
            publisher_id,
            campaign_id,
            group_id,
            avg(bid) as bid_set,
            count(*) as clicks,
            sum(bid) as spend_hour 
        FROM clicks
        GROUP BY job_id, date(ts), hour(ts), publisher_id, campaign_id, group_id
    """)
    return click_output

关键修复点

SQL语法修正：移除from clicks后多余的反引号，消除语法解析错误；
API替换：用createOrReplaceTempView替代已弃用的registerTempTable，两者功能一致但更符合Spark新版本规范；
代码优化：将多次重复的na.fill调用合并为一次，提升代码简洁性；
补充返回值：原代码未返回计算结果，新增return click_output确保函数输出有效数据。