PySpark批量读取Parquet时转义连字符问题求助

嘿，这个问题我之前也踩过坑！本质是Spark处理带方括号的路径时，会把括号内的内容当成正则表达式解析，而你用到的-在正则里是字符范围标识符，才引发了语法错误。咱们一步步来搞定它：

为什么会报错？ #

Spark的路径匹配逻辑中，方括号[]会被解析为正则表达式的字符集/范围匹配。你写的date=[2018-01-01,2018-01-02]里，2018-01中的-会被正则引擎误认为是“从8到0的字符范围”，这显然不符合语法规则，所以抛出了java.util.regex.PatternSyntaxException。而你尝试用\-转义时，又因为Python字符串的转义规则和Spark的路径解析规则不匹配，导致实际传递的路径不符合文件系统的真实路径，进而出现“文件未找到”的异常。

推荐的解决方案 #

方案1：直接指定多个分区路径（最稳妥高效） #

跳过方括号的正则写法，直接把需要的分区路径用逗号分隔传给load方法：

df = sqlContext.read.option("basePath", "/some/path")\
    .load("/some/path/date=2018-01-01", "/some/path/date=2018-01-02")

如果日期是连续的，还可以用通配符简化：

# 匹配2018-01-01和2018-01-02
df = sqlContext.read.option("basePath", "/some/path")\
    .load("/some/path/date=2018-01-0[12]")

方案2：加载全量后过滤分区 #

如果分区数量不多，也可以先加载整个父路径，再用filter筛选需要的日期：

df = sqlContext.read.option("basePath", "/some/path")\
    .load("/some/path")\
    .filter("date in ('2018-01-01', '2018-01-02')")

⚠️ 注意：这个方法会先扫描所有分区，数据量很大时效率不如直接指定分区，适合小数据集场景。

方案3：正确转义正则中的-（不推荐，容易踩坑） #

如果你一定要用方括号语法，需要对-进行双重转义（因为Python会先解析一次反斜杠）：

df = sqlContext.read.option("basePath", "/some/path")\
    .load("/some/path/date=[2018\\-01\\-01,2018\\-01\\-02]")

但这种写法依赖Spark和文件系统的正则解析兼容性，很容易出现路径匹配失败的情况，所以优先推荐前两种方案。

内容的提问来源于stack exchange，提问作者Jytug