HTTP请求获取CSV数据时Spark解析异常及数据传输问题咨询

一、HTTP协议不涉及该问题 #

HTTP仅负责数据的传输，不规定传输内容的格式规范（比如CSV的引号、分隔符处理逻辑）。你遇到的问题根源是Web服务返回的CSV格式不标准：

• 包含逗号的字段（比如URL里的JSON参数）未被正确用双引号包裹，导致Spark误将JSON内的逗号识别为CSV分隔符
• 双引号重复属于服务端CSV生成时的转义错误（CSV规范中字段内的双引号需转义为两个双引号，但这里明显是转义逻辑混乱导致的错误重复）

二、Spark侧的解决思路 #

既然服务端无法修改CSV分隔符，可从Spark解析配置或数据预处理入手：

1. 配置正确的CSV解析规则
   Spark的CSV Reader默认支持双引号转义，可显式指定参数修正解析逻辑：

spark.read
  .option("header", "true")
  .option("quote", "\"") // 指定字段包裹引号
  .option("escape", "\"") // 指定双引号的转义符（符合CSV规范）
  .option("multiLine", false) // 字段无换行时关闭，提升解析性能
  .csv("目标文件路径")

2. 预处理修正错误的双引号
   如果服务端返回的双引号重复是错误格式（比如""key1"":""value1""），可先通过正则替换修正：

import org.apache.spark.sql.functions.regexp_replace

df.withColumn("目标URL字段", regexp_replace(col("目标URL字段"), "\"\"", "\""))

3. 手动指定Schema避免解析混乱
   如果默认解析仍出问题，可提前定义Schema强制按字符串类型读取含URL的字段：

import org.apache.spark.sql.types.{StringType, StructField, StructType}

val customSchema = StructType(Array(
  StructField("url", StringType, nullable = true),
  // 其他字段依次定义...
))

spark.read
  .schema(customSchema)
  .option("sep", ",")
  .option("quote", "\"")
  .option("escape", "\"")
  .csv("目标文件路径")

三、Postman的验证作用 #

用Postman查看原始返回数据可明确责任：

• 如果原始CSV就存在双引号重复、含逗号字段未被包裹的问题，那是服务端CSV生成逻辑错误
• 如果原始数据符合CSV规范（含逗号字段被双引号包裹、双引号转义正确），才是Spark解析配置的问题

总结：问题核心是CSV格式不标准，HTTP无相关配置可修正此问题，重点需从Spark解析配置或数据预处理入手，同时通过Postman确认服务端返回的原始数据规范。

内容的提问来源于stack exchange，提问作者goobee