EsHadoop解析异常：无法解析字段[transaction_value]的值[15000.0]

这是由于Elasticsearch和Hadoop之间的数据类型不匹配而导致的问题。可以通过将Elasticsearch中的映射类型与Hadoop中的数据类型匹配来解决此问题。

首先，在Elasticsearch中修改映射类型，将[transaction_value]字段的类型更改为浮点型，然后重新创建索引。

PUT my_index/_mapping { "properties": { "transaction_value": { "type": "float" } } }

其次，使用Elasticsearch-Hadoop API将数据加载到Spark中，并使用正确的数据类型将[transaction_value]字段解析为浮点数。

import org.apache.spark.SparkConf import org.apache.spark.sql.SparkSession

val conf = new SparkConf().setAppName("ElasticsearchHadoopTest") val spark = SparkSession.builder().config(conf).getOrCreate()

val options = Map("es.nodes" -> "localhost", "es.port" -> "9200", "es.read.field.as.array.include" -> "transaction_value") val esData = spark.read.format("org.elasticsearch.spark.sql").options(options).load("my_index/_doc")

val data = esData.selectExpr("CAST(transaction_value AS FLOAT) AS transaction_value_float")

最后，可以使用新的字段将数据保存回Elasticsearch。

data.write.format("org.elasticsearch.spark.sql").options(options).option("es.mapping.id", "my_id").save("new_my_index/_doc")

∠