使用PySpark查找最近点：INNER JOIN报错与仅返回首行问题

看起来你在处理Spark SQL的空间关联和结果限制时遇到了两个具体问题，我来逐一帮你梳理解决方案：

一、关于INNER JOIN无法实现"找最近地铁站"的问题 #

直接用普通INNER JOIN来匹配最近点其实不是合理的思路——因为这类需求没有固定的等值/范围关联条件，强行用INNER JOIN要么语法不成立，要么会产生海量笛卡尔积（5555*272=150万+条数据）。正确的做法是结合距离计算+窗口函数，给每个坐标点的所有地铁站按距离排序，再筛选出最近的那一个。

给你一个完整的可落地示例（如果是经纬度坐标，建议用Haversine公式计算球面距离，比欧氏距离更准确）：

WITH distance_calculations AS (
    SELECT 
        c.uuid,
        c.latitude,
        c.longitude,
        m.station_id,
        m.xlat,
        m.xlong,
        -- 计算欧氏距离（经纬度场景替换为Haversine公式即可）
        SQRT(POWER(c.latitude - m.xlat, 2) + POWER(c.longitude - m.xlong, 2)) AS distance
    FROM coordinates c
    CROSS JOIN metro_table m -- 先关联所有坐标与地铁站
)
SELECT 
    uuid,
    latitude,
    longitude,
    station_id,
    xlat,
    xlong
FROM (
    SELECT 
        *,
        -- 按坐标分组，给每个组内的地铁站按距离升序排序
        ROW_NUMBER() OVER (PARTITION BY uuid ORDER BY distance ASC) AS rn
    FROM distance_calculations
) t
WHERE rn = 1; -- 只保留每个坐标的最近地铁站

如果你的Spark版本支持空间索引或ST_DWithin这类空间函数，还可以提前过滤掉距离过远的地铁站，大幅减少计算量。

二、关于FETCH FIRST 1 ROWS ONLY的缩进错误及取首行方法 #

1. 缩进错误的根源 #

在Python中定义多行SQL字符串时，如果代码本身有缩进（比如写在函数/循环里），字符串内的缩进会被当成SQL语法的一部分，导致Spark SQL解析报错。比如这种写法就会出问题：

# 错误示例：缩进被带入SQL语句
def get_first_row():
    query = """
        SELECT uuid, latitude, longitude
        FROM coordinates
        FETCH FIRST 1 ROW ONLY
    """
    return query

2. 正确的取首行方案 #

你有两种可靠的选择：

• 方案一：用兼容性更好的LIMIT 1
  这是大多数SQL引擎都支持的语法，同时处理字符串缩进问题：

  # 写法1：直接去掉多余缩进
  query = """
  SELECT uuid, latitude, longitude
  FROM coordinates
  LIMIT 1
  """
  
  # 写法2：用strip()自动去除首尾空白，避免缩进干扰
  query = """
      SELECT uuid, latitude, longitude
      FROM coordinates
      LIMIT 1
  """.strip()
  

• 方案二：坚持用FETCH FIRST 1 ROW ONLY
  确保SQL语法正确的同时，避免字符串内的无效缩进：

  query = """
  SELECT uuid, latitude, longitude
  FROM coordinates
  FETCH FIRST 1 ROW ONLY
  """
  

另外，你也可以跳过SQL，直接在DataFrame层面调用limit(1)方法：

result_df = spark.sql("SELECT uuid, latitude, longitude FROM coordinates").limit(1)

这样就能彻底避免缩进带来的语法错误，同时正确获取第一行数据。

内容的提问来源于stack exchange，提问作者adil blanco