升级dbt与sqlfluff后pre-commit因缺失环境变量报错的解决咨询

方法1：给pre-commit的sqlfluff hook注入临时环境变量 #

在项目根目录的.pre-commit-config.yaml中，为sqlfluff的hook添加env字段，设置一个占位的密码值（语法检查不需要真实数据库连接，只需环境变量存在即可）：

repos:
  - repo: https://github.com/sqlfluff/sqlfluff
    rev: 2.1.0
    hooks:
      - id: sqlfluff-fix
        args: ["--dialect", "postgres"] # 替换为你的数据库方言
        env:
          USER_PASSWORD: "local_dummy_password"

方法2：修改shell脚本支持指定文件处理 #

如果坚持用shell脚本注入环境变量，调整脚本使其接收命令行参数，仅处理传入的文件：

#!/bin/bash
# 注入临时环境变量
export USER_PASSWORD="local_dummy_password"
# 处理所有传入的文件参数
sqlfluff fix "$@"

然后更新.pre-commit-config.yaml，让hook调用该脚本并传递目标文件：

repos:
  - repo: local
    hooks:
      - id: sqlfluff-fix-local
        name: sqlfluff fix with dummy env
        entry: ./scripts/sqlfluff_fix_with_env.sh # 替换为你的脚本路径
        language: script
        files: \.sql$
        pass_filenames: true

pass_filenames: true会让pre-commit将待检查的文件路径作为参数传递给脚本，脚本通过$@接收并处理。

方法3：修改dbt profiles配置添加默认值 #

在profiles.yaml中使用jinja的env_var函数添加默认值，避免环境变量缺失报错：

your_profile_name:
  target: dev
  outputs:
    dev:
      type: postgres # 替换为你的数据库类型
      host: localhost
      user: your_local_user
      password: "{{ env_var('USER_PASSWORD', 'dummy_local_password') }}"
      port: 5432
      dbname: your_local_db
      schema: public

本地运行时，若不存在USER_PASSWORD环境变量，会自动使用默认的占位值，不影响sqlfluff的语法检查。

内容的提问来源于stack exchange，提问作者Nicolaz