Spark 3.5是否支持多字符行分隔符读取文本?支持版本咨询
Spark多字符行分隔符支持说明
- Spark 3.0及以上版本支持多字符行分隔符读取,可直接通过
linesep参数指定自定义多字符分隔符,示例代码如下:spark.read.text(path, linesep="I,") - Spark 2.x及更早版本不支持该功能,必须对文件进行预处理(如替换多字符分隔符为单字符)才能正常读取。
内容的提问来源于stack exchange,提问作者Srividya Reddy
相关产品推荐
相关产品推荐

