如何格式化PySpark代码文件中内嵌的SQL查询语句

批量处理700+存量文件方案 #

• 优先采用「Python语法树解析+SQL格式化工具」的自动化脚本方案，零人工干预即可完成全量处理：
  1. 先安装依赖：pip install libcst sqlfluff
  2. 用libcst（或者Python自带的ast模块）遍历所有.py文件的语法树，精准匹配所有f.spark.sql()、spark.sql()调用的参数中的三引号字符串，提取SQL原始内容
  3. 用sqlfluff对提取的SQL做格式化，支持自定义规则：包括缩进长度、关键字大小写、SELECT字段每行一个、JOIN/WHERE等子句分层缩进，完全适配你的排版要求
  4. 把格式化后的SQL替换回原语法树节点，重新生成Python代码写回原文件即可

  可以先选10份样本文件测试格式化效果，调整sqlfluff规则符合团队规范后再跑全量，全程不会改动Python代码的其他部分，只修改SQL字符串内容。

本地开发日常格式化方案 #

• VSCode用户：安装Python Inline SQL扩展，在扩展设置中添加spark.sql作为SQL识别触发项，后续格式化Python文件时会自动识别三引号内的SQL内容做排版，不会再被当成普通字符串处理。
• PyCharm用户：自带SQL注入识别能力，全局配置后所有spark.sql的参数会被自动识别为Spark SQL语言，格式化Python代码时会同步格式化内部的SQL，也可以手动在字符串上按Alt+Enter选择注入SQL语言临时生效。

后续规范落地方案 #

• 把SQL格式化校验加入CI流程，每次代码提交时用sqlfluff扫描所有PySpark文件中的SQL字符串，不符合规范的直接拦截，避免新的未格式化SQL进入代码库。

内容的提问来源于stack exchange，提问作者Anuj Sharma