Spark中如何获取select查询结果为字符串变量而非DataFrame

spark.sql() 执行查询后的返回值是Spark DataFrame对象，并非SQL计算得到的标量结果，直接将DataFrame与字符串做拼接时，Python不支持str和DataFrame类型的相加操作，因此触发类型报错。

你需要从返回的单值DataFrame中提取出具体的计算结果，转换为字符串后再参与SQL拼接，同时注意两个细节：

• Python变量名大小写敏感，原代码存在Dt/dt、Script/script、Spark/spark的大小写不一致笔误，会触发变量未定义错误
• 如果dt字段是日期、字符串类型，SQL语句中的对比值需要用单引号包裹，否则会触发SQL语法错误

基础修复代码如下：

# first()取结果的第一行，[0]取第一列的字段值，转为字符串
dt = str(spark.sql("select max(dt) from table").first()[0])
# 拼接SQL时给变量值加上单引号
script = f"select * from table where dt > '{dt}'"
spark.sql(script)

如果你使用的是Spark 3.0及以上版本，更推荐用官方支持的参数绑定方式传值，不需要手动处理引号和转义，避免SQL注入和语法问题：

# 提取标量值
max_dt = spark.sql("select max(dt) from table").first()[0]
# 绑定参数执行SQL
result = spark.sql(
    "select * from table where dt > :dt_threshold",
    args={"dt_threshold": max_dt}
)

注：不要用.collect()取结果，对于有大量返回结果的SQL，collect会把全量数据拉到Driver端容易触发内存溢出，取单值用.first()效率更高、内存更安全。

内容的提问来源于stack exchange，提问作者Андрей Смирнов