PySpark双子查询计算订阅成功率触发笛卡尔积报错的问题求助

SQL中用逗号分隔两个无关联过滤条件的子查询源表时，Spark会自动将其识别为无匹配关联键的笛卡尔积关联。从Spark 2.0版本开始，默认关闭隐式笛卡尔积的执行权限，因此直接抛出提示要求显式声明关联类型或手动开启对应配置。

• 方案1：显式声明笛卡尔积关联（完全兼容原有计算逻辑）
  两个子查询各自仅返回1行聚合结果，关联后不会产生数据膨胀，可直接将原SQL中逗号分隔的表关联改写为CROSS JOIN显式声明，示例代码：

spark.sql("""
SELECT (x.total_subscribed / y.total_entries) AS success_rate
FROM (
    SELECT COUNT(*) AS total_subscribed  
    FROM banking_tbl  
    WHERE y = 'yes'
) x
CROSS JOIN (
    SELECT COUNT(*) AS total_entries  
    FROM banking_tbl
) y
""").show()

• 方案2：单表条件聚合计算（性能最优写法）
  无需拆分两个子查询对全表做两次扫描，可直接在一次全表扫描中通过条件判断统计两类指标，计算效率更高，且不会触发笛卡尔积校验报错，示例代码：

spark.sql("""
SELECT 
    SUM(IF(y = 'yes', 1, 0)) / COUNT(*) AS success_rate
FROM banking_tbl
""").show()

• 方案3：临时开启隐式笛卡尔积配置（不推荐长期使用）
  如果不想修改原有代码逻辑，可在执行SQL前临时修改配置允许隐式笛卡尔积：

spark.conf.set("spark.sql.crossJoin.enabled", "true")
# 执行原有业务SQL
spark.sql(" select(x.total_subscribed / y.total_entries) as success_rate from (select count(*)as total_subscribed  from banking_tbl  where y ='yes')x, (select count(*) as total_entries  from banking_tbl)y ").show()

注意：该配置为全局生效，后续如果出现大表之间无关联条件的误写代码，会直接触发全量笛卡尔积计算，极易导致任务资源耗尽OOM，生产环境不建议开启。

内容的提问来源于stack exchange，提问作者user13064120