Apache Spark SQL实现多数组explode及1:1映射问题求助

嘿，我明白你遇到的困扰了——单独用explode确实只能展开单个数组，没法直接让两个数组的元素按位置一一配对。不过Spark SQL里有个专门的函数能搞定这个需求，就是arrays_zip，咱们一步步来实现你的目标：

核心思路 #

先用arrays_zip把两个数组按位置打包成结构体数组（每个结构体包含对应位置的两个元素），再用explode展开这个结构体数组，就能得到元素一一对应的中间DataFrame，最后再生成JSON即可。

示例实现（以PySpark为例） #

1. 创建原始DataFrame #

先模拟你提到的包含两个数组的DataFrame：

from pyspark.sql import SparkSession
from pyspark.sql.functions import arrays_zip, explode, col, to_json, collect_list

# 初始化SparkSession
spark = SparkSession.builder.appName("ArrayPairing").getOrCreate()

# 原始数据：字母数组和数字数组
raw_data = [(["a","b","c","d","e"], [1,2,3,4,5])]
df_raw = spark.createDataFrame(raw_data, schema=["letters", "numbers"])

# 查看原始数据
df_raw.show()

输出会是：

+---------------+---------------+
|        letters|        numbers|
+---------------+---------------+
|[a, b, c, d, e]|[1, 2, 3, 4, 5]|
+---------------+---------------+

2. 打包两个数组为结构体数组 #

用arrays_zip将两个数组按位置配对，生成一个新的结构体数组列：

df_zipped = df_raw.withColumn("mapped_pairs", arrays_zip("letters", "numbers"))
df_zipped.show(truncate=False)

输出中mapped_pairs列就是配对后的结构体数组：

+---------------+---------------+---------------------------------------+
|letters        |numbers        |mapped_pairs                           |
+---------------+---------------+---------------------------------------+
|[a, b, c, d, e]|[1, 2, 3, 4, 5]|[{a, 1}, {b, 2}, {c, 3}, {d, 4}, {e, 5}]|
+---------------+---------------+---------------------------------------+

3. 展开结构体数组得到1:1映射的DataFrame #

用explode展开mapped_pairs列，就能得到每个元素一一对应的行：

df_exploded = df_zipped.select(explode("mapped_pairs").alias("pair"))
df_exploded.show()

输出就是你需要的中间DataFrame：

+-----+
| pair|
+-----+
|{a,1}|
|{b,2}|
|{c,3}|
|{d,4}|
|{e,5}|
+-----+

如果需要把结构体拆成单独的列，可以再加一步：

df_final_mapping = df_exploded.select(col("pair.letters").alias("letter"), col("pair.numbers").alias("number"))
df_final_mapping.show()

输出：

+------+------+
|letter|number|
+------+------+
|     a|     1|
|     b|     2|
|     c|     3|
|     d|     4|
|     e|     5|
+------+------+

4. 生成JSON #

根据需求，可以生成单个映射的JSON，或者整合成一个JSON数组：

• 生成每个映射的JSON字符串：

df_single_json = df_exploded.select(to_json(col("pair")).alias("json_result"))
df_single_json.show(truncate=False)

输出：

+----------------+
|json_result     |
+----------------+
|{"letters":"a","numbers":1}|
|{"letters":"b","numbers":2}|
|{"letters":"c","numbers":3}|
|{"letters":"d","numbers":4}|
|{"letters":"e","numbers":5}|
+----------------+

• 生成包含所有映射的JSON数组：

df_array_json = df_exploded.agg(collect_list("pair").alias("all_pairs")).select(to_json(col("all_pairs")).alias("final_json"))
df_array_json.show(truncate=False)

输出：

+-------------------------------------------------------------------------------------+
|final_json                                                                           |
+-------------------------------------------------------------------------------------+
|[{"letters":"a","numbers":1},{"letters":"b","numbers":2},{"letters":"c","numbers":3},{"letters":"d","numbers":4},{"letters":"e","numbers":5}]|
+-------------------------------------------------------------------------------------+

用Spark SQL语句实现 #

如果你习惯用SQL操作，也可以这样写：

-- 创建临时视图
CREATE OR REPLACE TEMP VIEW raw_arrays AS
SELECT array('a','b','c','d','e') AS letters, array(1,2,3,4,5) AS numbers;

-- 得到1:1映射的中间表
SELECT explode(arrays_zip(letters, numbers)) AS pair
FROM raw_arrays;

-- 生成单个JSON结果
SELECT to_json(explode(arrays_zip(letters, numbers))) AS json_result
FROM raw_arrays;

-- 生成JSON数组结果
SELECT to_json(collect_list(pair)) AS final_json
FROM (
    SELECT explode(arrays_zip(letters, numbers)) AS pair
    FROM raw_arrays
);

这样就能完美实现你需要的数组元素1:1映射，再生成JSON的需求啦～

内容的提问来源于stack exchange，提问作者sarashan