如何在Spark中使用多字符行分隔符（行定界符）

Spark 3 的行分隔符配置（lineSep）仅支持单个字符，无法直接将@@@\n这类多字符组合设置为行分隔符，可通过以下两种方案解决：

方案一：读取整文件后手动拆分行 #

直接读取文件内容为单列字符串，再通过字符串拆分和展开操作得到目标行数据：

• Scala 实现：

import org.apache.spark.sql.functions.{split, explode}

val rawDF = spark.read.text("your/file/path")
val targetDF = rawDF
  .select(split(col("value"), "@@@\n").alias("line_list"))
  .select(explode(col("line_list")).alias("single_line"))

• Python 实现：

from pyspark.sql.functions import split, explode

raw_df = spark.read.text("your/file/path")
target_df = raw_df \
    .select(split("value", "@@@\n").alias("line_list")) \
    .select(explode("line_list").alias("single_line"))

注意：该方案适合中小文件，大文件可能因全量加载拆分带来内存压力。

方案二：预处理文件替换分隔符 #

先通过外部脚本（Shell/Python）将文件中的@@@\n替换为单个特殊控制字符（如\u0001，极少在业务数据中出现），再让Spark按该单字符读取：

1. 预处理示例（Shell）：

sed 's/@@@\n/\x01/g' input_file > output_file

2. Spark读取配置：

• Scala 实现：

val df = spark.read
  .option("lineSep", "\u0001")
  .csv("your/preprocessed/file/path")

• Python 实现：

df = spark.read \
    .option("lineSep", "\u0001") \
    .csv("your/preprocessed/file/path")

该方案更适配大文件场景，避免内存溢出风险。

内容的提问来源于stack exchange，提问作者Anand