使用PySpark写入ORC文件时如何规避解析错误？

你遇到的这个ParseException根源非常明确：你的原始DataFrame里存在带空格的列名（比如错误提示里的item type），而你在使用selectExpr重命名列的时候，没有给这些带空格的列名加上SQL语法要求的反引号，导致生成的SQL表达式语法错误，最终触发了解析异常。

看你这段代码：

df = df.selectExpr([col + ' as left_' + col for col in left_cols])
df2 = df2.selectExpr([col + ' as right_' + col for col in right_cols])

如果原始列名是item type，这段代码会生成这样的SQL片段：item type as left_item type——这在SQL里完全不符合语法，因为带空格的标识符必须用反引号（`）包裹起来，不然Spark会把item和type当成两个不同的元素，进而抛出解析错误。

修正方案 #

修改selectExpr的列表推导式，给原始列名和新列名都加上反引号：

df = df.selectExpr([f"`{col}` as `left_{col}`" for col in left_cols])
df2 = df2.selectExpr([f"`{col}` as `right_{col}`" for col in right_cols])

这样处理后，带空格的列名会被正确包裹，生成的SQL表达式就会变成`item type` as `left_item type`，符合Spark的SQL语法规范，就能正常解析并写入ORC文件了。

额外注意事项 #

• 如果你后续还要对这些带空格的列进行操作，建议要么一直用反引号包裹，要么干脆在重命名的时候把空格替换成下划线（比如left_item_type），这样后续操作会更省心，避免重复处理空格问题：

  df = df.selectExpr([f"`{col}` as left_{col.replace(' ', '_')}" for col in left_cols])
  

• ORC格式本身支持带空格的字段名，但Spark在处理SQL表达式时对标识符的语法要求很严格，所以只要确保在引用这类列名时用反引号包裹就不会有问题。

内容的提问来源于stack exchange，提问作者Aviral Srivastava