Spark SQL查询LR预测结果报错：Preds数据集prediction字段查询失败

看起来你遇到的核心问题是prediction字段的类型不匹配导致查询失败——这在MLlib输出后续处理中很常见，尤其是当数据经过保存/加载、格式转换环节后，数值类型容易被误转成字符串。我来帮你一步步排查解决：

第一步：先确认prediction字段的实际类型 #

首先得搞清楚prediction到底是什么数据类型，这是排查的基础。在Jupyter里执行对应代码：

如果是PySpark DataFrame： #

Preds.printSchema()

看输出里prediction行的类型，如果显示string而不是double，那就是类型问题导致的查询失败（比如你用数值条件查字符串字段，自然匹配不上）。

如果是Pandas DataFrame： #

print(Preds.dtypes)

同样检查prediction的类型是否为float64/int64，而不是object（字符串类型）。

第二步：把prediction转换为数值类型 #

如果确认是字符串类型，就把它转成双精度数值：

PySpark 示例： #

from pyspark.sql.types import DoubleType
from pyspark.sql.functions import col

# 直接覆盖原字段，或者新建字段（比如prediction_num）避免影响原数据
Preds = Preds.withColumn("prediction", col("prediction").cast(DoubleType()))

如果转换时报错，说明数据里存在非数值的异常值（比如空字符串、字母），可以用下面的代码找出异常行：

Preds.filter(col("prediction").rlike("^[^0-9.]+$")).show()

针对这些异常值，你可以选择删除、填充或者修正后再转换。

Pandas 示例： #

import pandas as pd

# 转换为数值类型，errors='coerce'会把无法转换的值设为NaN
Preds['prediction'] = pd.to_numeric(Preds['prediction'], errors='coerce')

第三步：排查类型被转成字符串的根源 #

找到问题源头才能避免下次再踩坑，常见原因有这几个：

• 加载数据时自动推断schema错误：如果Preds是从CSV/JSON等文件加载的，inferSchema=True（PySpark）或pd.read_csv()的自动推断可能把数值字段误判为字符串（比如字段里有异常值、格式不统一）。解决方法是手动指定schema：

  # PySpark手动指定schema示例
  from pyspark.sql.types import StructType, StructField, DoubleType
  
  schema = StructType([
      StructField("label", DoubleType(), True),
      StructField("prediction", DoubleType(), True),
      # 其他字段按实际情况添加
  ])
  Preds = spark.read.csv("path/to/your/preds.csv", schema=schema, header=True)
  

• 后续处理中的意外转换：检查你在MLlib预测后对Preds做的操作，有没有用到字符串相关的函数（比如concat、format_string），或者把DataFrame转成Pandas再转回Spark时的类型丢失。
• 模型输出的误解：顺便提一句，二元分类通常用LogisticRegression而不是LinearRegression（LinearRegression是回归模型，输出连续值），不过不管哪种模型，MLlib的prediction字段默认都是Double类型，所以问题大概率出在后续处理环节。

第四步：验证查询是否恢复正常 #

转换类型后，再执行之前失败的查询，比如：

# PySpark简单查询
Preds.filter(col("prediction") == 1.0).show()

# PySpark SQL查询
Preds.createOrReplaceTempView("preds_view")
spark.sql("SELECT * FROM preds_view WHERE prediction > 0.5").show()

应该就能正常执行了。

内容的提问来源于stack exchange，提问作者r poon