PySpark SQL动态传值报错求助：ParseException问题排查

咱们一步步拆解你两段代码里的问题，然后给出针对性的修复方案：

第一段代码的核心问题 #

你的第一段代码有两个明显错误：

1. SQL语法不规范：case when app_new in ${app_list_0}展开后变成in 'app_3'，但SQL里IN子句要求值必须用括号包裹（哪怕是单个值，也要写成IN ('app_3')），这直接触发了语法解析错误。
2. DataFrame误用sql()方法：click_app_join_sql = sqlContext.sql(...)已经返回了一个DataFrame，但你又把它传给sqlContext.sql(click_app_join_sql)——sql()方法只接受字符串类型的SQL语句，不能传入DataFrame，这会导致额外错误。

修复后的第一段代码 #

set_sql = "set app_list_0 = 'app_3'"
sqlContext.sql(set_sql)

# 修正IN子句的括号，别名用反引号避免和字符串冲突
click_app_df = sqlContext.sql("""
    select click_id, 
           (case when app_new in (${app_list_0}) then 1 else 0 END) as `${app_list_0}`, 
           device, os, channel 
    from clickDF 
""")
click_app_df.show(3)

第二段代码的核心问题 #

第二段代码的问题主要出在查询结果处理和SQL语法上：

1. Row对象处理错误：df1_new_app.collect()返回的是Row对象列表，你直接app_list.append(app)会把整个Row对象存入列表，导致str(app_list[0])变成类似Row(new_app='app_3')的字符串，代入SQL后完全不符合语法规范。
2. IN子句格式错误：in {0}既没有括号也没有正确的单引号包裹值，代入错误的Row字符串后直接引发解析失败。
3. 重复调用sql()方法：和第一段代码一样，错误地将DataFrame再次传入sql()方法。

修复后的第二段代码 #

app_sql = """
    select a.app, CONCAT('app', '_',a.app) as new_app, a.app_count 
    from(
        select app, count(app) as app_count 
        from dblclk_text.click_data 
        group by app 
    )a 
    order by a.app_count desc limit 5
"""
df1 = hiveContext.sql(app_sql)
df1.createOrReplaceTempView('app')

df1_new_app = sqlContext.sql("select new_app from app ")
df1_new_app.printSchema()

app_list = []
app_result = df1_new_app.collect()
# 提取Row里的new_app字段值，而不是存入整个Row对象
for app in app_result:
    app_list.append(app.new_app)

click_sql = """
    select click_id, CONCAT('app', '_', app) as app_new, device, os, channel 
    from dblclk_text.click_pank_data
"""
clickDF = hiveContext.sql(click_sql)
clickDF.createOrReplaceTempView('clickDF')

# 直接取第一个app值，已经是字符串，无需转str
app_list_0 = app_list[0]
print(app_list_0)

# 修正IN子句的格式，用括号+单引号包裹值，别名用反引号
sample_sql = '''
    select click_id, 
           (case when app_new in ('{0}') then 1 else 0 END) as `{0}`, 
           device, os, channel 
    from clickDF 
'''.format(app_list_0)

# 执行SQL得到DataFrame后直接使用，无需再次调用sql()
click_app_df = sqlContext.sql(sample_sql)
click_app_df.show(3)

额外扩展：处理多值IN子句 #

如果你的app_list包含多个值，需要把它们格式化为SQL兼容的逗号分隔格式（比如'app_1','app_2','app_3'），可以这样修改：

# 将列表转换为IN子句可用的格式
app_values = "','".join(app_list)
sample_sql = '''
    select click_id, 
           (case when app_new in ('{0}') then 1 else 0 END) as app_match, 
           device, os, channel 
    from clickDF 
'''.format(app_values)

这里注意别用多值字符串当别名（会变成as 'app_1','app_2'，语法错误），改用固定别名app_match更合理。

内容的提问来源于stack exchange，提问作者Bhaskar