Spark SQL解析JSON时出现数据类型不匹配错误：参数2需整型

错误原因分析 #

你遇到的AnalysisException核心问题很明确：transactions是一个数组类型的字段，但你用了字符串'code'来索引它。Spark里数组只能用整数下标（比如[0]取第一个元素）访问，而字符串索引是给Map/Struct类型字段用的——这就是类型不匹配的根源。

从你的错误路径queryResults.searchResponse.response.docs.transactions['code']来看，transactions应该是一个包含多个对象的数组，每个对象里有code字段，你真正想做的是提取数组中每个对象的code值，而不是用字符串索引数组。

具体解决方案 #

根据你的需求场景，分两种情况处理：

1. 提取数组中单个元素的code

如果只需要transactions数组里第一个元素的code，直接用整数下标访问数组，再点取字段：

-- Spark SQL示例
SELECT queryResults.searchResponse.response.docs.transactions[0].code FROM your_table

或者用DataFrame API：

// Scala示例
df.select(col("queryResults.searchResponse.response.docs.transactions").getItem(0).getField("code"))

2. 提取数组中所有元素的code（转成列表）

如果需要把transactions数组里所有对象的code提取成一个新的字符串数组，用transform函数：

-- Spark SQL示例
SELECT transform(
    queryResults.searchResponse.response.docs.transactions,
    x -> x.code
) AS transaction_codes FROM your_table

如果docs本身也是一个数组（很多JSON搜索结果里docs是数组），那你需要先把docs展开，再处理transactions：

-- 先explode展开docs数组，再处理transactions
SELECT 
    explode(transform(doc.transactions, x -> x.code)) AS transaction_code
FROM your_table
LATERAL VIEW explode(queryResults.searchResponse.response.docs) t AS doc

检查自定义Schema是否正确 #

如果你的自定义Schema定义错误，也会导致这类问题。比如误把transactions定义成MapType而不是ArrayType(StructType(...))。正确的Schema应该类似这样（以Scala为例）：

import org.apache.spark.sql.types._

val customSchema = StructType(Seq(
    StructField("queryResults", StructType(Seq(
        StructField("searchResponse", StructType(Seq(
            StructField("response", StructType(Seq(
                StructField("docs", ArrayType(StructType(Seq(
                    StructField("transactions", ArrayType(StructType(Seq(
                        StructField("code", StringType)
                        // 这里添加transactions里的其他字段
                    ))))
                ))))
            )))
        )))
    )))
))

确保transactions被定义为ArrayType包裹StructType，这样Spark才能正确识别它是数组对象，而不是可通过字符串索引的Map。

内容的提问来源于stack exchange，提问作者ROOT