PySpark读取无表头、含特殊字符且列数可变的CSV文件问题

我有一个无表头且列数可变的CSV文件，目前以文本文件方式读取。我尝试用正则处理特殊字符（,-_），但当前正则无法正确处理字段内的逗号，也无法处理逗号后带空格的情况。

示例输入行：

"address_line_1": "19 Woodland Grove,Warsop"
"address_line_1": "Anderson House, Street XYZ"

其中Anderson House, Street XYZ应该作为address_line_1的单个值，但当前处理后的输出把逗号前后拆成了两列：

|_c0              |        _c1|     
+-----------------+-----------+
|19 Woodland Grove|     Warsop|
|Anderson House   | Street XYZ|

当前使用的代码：

readFile = spark.read.text("pathtoreadinputfile")
readFile = readFile.select(split(col("value"), ",(?=(?:[^\"]*\"[^\"]*\")*[^\"]*$)").alias("splittable_col"), "value")
sizeVar = readFile.select(max(size(col("splittable_col")))).collect()[0][0]
for i in range(sizeVar):
    readFile = readFile.withColumn("_c" + str(i), readFile['splittable_col'][i])
    df = readFile.drop("splittable_col", "value")

期望输出（将整行地址作为单个字段）：

|_c0                       |    
+--------------------------+
|19 Woodland Grove,Warsop  |
|Anderson House, Street XYZ|

解决思路与代码修改 #

你的核心问题是错误地用逗号分割了本应作为整体的字段。从示例来看，实际需要提取引号内的完整内容，而非按逗号拆分整行。

修改后的代码如下：

from pyspark.sql import functions as F

# 读取文本文件
readFile = spark.read.text("pathtoreadinputfile")

# 正则提取引号内的完整地址内容，忽略字段内的逗号与空格
readFile = readFile.withColumn(
    "_c0",
    F.regexp_extract(col("value"), r'\"address_line_1\": \"(.*?)\"', 1)
)

# 清理冗余列
df = readFile.drop("value")
df.show(truncate=False)

代码说明 #

1. 正则表达式r'\"address_line_1\": \"(.*?)\"'：精准匹配目标键值对，用非贪婪模式.*?捕获引号内的完整内容（包含其中的逗号和空格），确保只提取对应键的第一个闭合引号内的字符串。
2. 无需拆分列：因为需求是将每个地址作为单个字段，直接提取目标内容即可，避免了split带来的错误拆分。

如果你的CSV包含多类键值对需要动态处理，可以调整正则逻辑批量提取，但当前场景下提取单个字段的方案最直接高效。

内容的提问来源于stack exchange，提问作者Muskan Makhija