Spark SQL随机选10个id关联原表全量行报错如何解决？

• 语法结构不符合Spark SQL规范：SELECT查询的标准结构为SELECT 返回字段 FROM 数据源，你的代码直接在子查询后接别名和JOIN逻辑，缺少外层的SELECT声明与FROM关键字，SQL解析器无法识别后续的AS语法，因此抛出匹配错误。
• 保留字误用：table是SQL官方保留字，不能直接作为表别名使用，需要替换为自定义的合法别名，例如random_ids。
• 字段名不统一：子查询中查询的字段为vehicle_id，但关联条件中使用的字段为id，字段不匹配会导致后续关联失败。

提供两种常用的实现方式，按需选择即可：

方式1：单SQL关联实现（推荐） #

直接在一个SQL语句中完成随机id抽取和关联逻辑，不需要将数据拉取到Driver端，性能更稳定：

result = spark.sql(f"""
SELECT orig.*
FROM {database_name}.{orig_table_name} orig
INNER JOIN (
    -- 内层查询：取10个随机唯一id
    SELECT DISTINCT id
    FROM {database_name}.{orig_table_name}
    ORDER BY RAND()
    LIMIT 10
) random_ids
ON orig.id = random_ids.id
""")

方式2：分步骤实现 #

先抽取10个随机id，再用IN条件过滤原表，逻辑更直观，适合小批量id场景：

# 第一步：抽取10个随机唯一id
random_id_df = spark.sql(f"""
SELECT DISTINCT id
FROM {database_name}.{orig_table_name}
ORDER BY RAND()
LIMIT 10
""")
# 收集id为Python列表（仅适合id数量极少的场景，本场景10个完全适用）
id_list = [row["id"] for row in random_id_df.collect()]
# 第二步：过滤原表，获取目标id的全量数据
# 处理id的引号：字符串类型id加单引号，数值类型可省略
formatted_ids = []
for id_val in id_list:
    if isinstance(id_val, str):
        formatted_ids.append(f"'{id_val}'")
    else:
        formatted_ids.append(str(id_val))
result = spark.sql(f"""
SELECT * FROM {database_name}.{orig_table_name}
WHERE id IN ({','.join(formatted_ids)})
""")

• 如果你的业务中id对应的字段名是vehicle_id，需要把上面代码中所有出现id的位置统一替换为vehicle_id即可。
• 不需要额外添加分号，Spark SQL本身支持不加分号的单条查询语法。

内容的提问来源于stack exchange，提问作者Bondgirl