如何简化DuckDB CLI中GCS凭证的跨会话持久化操作？

已通过以下命令为服务账号生成GCS HMAC凭证：

gcloud storage hmac create \
  my-sa@my-project.iam.gserviceaccount.com \
  --project=my-project > `pwd`/sensitive/hmac.yaml

使用DuckDB CLI 1.2.2版本时，无法跨会话持久化GCS凭证。目前已编写duckdb_wrapper脚本实现功能，但操作过于繁琐：

# 生成初始化SQL文件
cat <<EOL > "/sensitive/duckdb_init.sql"
CREATE SECRET (
    TYPE gcs,
    KEY_ID '${GCS_ACCESS_KEY_ID}',
    SECRET '${GCS_SECRET_ACCESS_KEY}'
);
EOL
duckdb -c ".read /sensitive/duckdb_init.sql"

# 安装并加载httpfs扩展
duckdb -s "
INSTALL httpfs;
LOAD httpfs;
" || exit 1

# 创建wrapper脚本
cat <<EOF > /usr/local/bin/duckdb_wrapper
#!/bin/bash
exec duckdb -c ".read /sensitive/duckdb_init.sql" "\$@"
EOF
chmod +x /usr/local/bin/duckdb_wrapper

当前调用方式为以下两种，但不够简洁：

duckdb -c '.read /sensitive/duckdb_init.sql' \
  -s "SELECT * FROM read_parquet('gs://my-bucket/date=2018-03-03/*.parquet');"

duckdb_wrapper \
  -s "SELECT * FROM read_parquet('gs://my-bucket/date=2018-03-03/*.parquet');"

希望找到更优方案，比如通过配置文件或环境变量存储敏感凭证信息。

方案1：环境变量自动注入凭证 #

DuckDB支持直接通过环境变量加载GCS HMAC凭证，无需手动执行CREATE SECRET：

1. 从生成的hmac.yaml中提取凭证并设置环境变量：

# 需提前安装yq工具解析yaml
export GCS_ACCESS_KEY_ID=$(yq e '.access_key_id' sensitive/hmac.yaml)
export GCS_SECRET_ACCESS_KEY=$(yq e '.secret_access_key' sensitive/hmac.yaml)

2. 配置DuckDB自动加载httpfs扩展（避免每次手动LOAD）：
   在用户主目录创建~/.duckdb/config文件，添加：

[main]
load_extensions = httpfs

3. 直接调用DuckDB即可访问GCS：

duckdb -s "SELECT * FROM read_parquet('gs://my-bucket/date=2018-03-03/*.parquet');"

方案2：DuckDB配置文件存储凭证 #

如果不想依赖环境变量，可将凭证写入DuckDB配置文件：

1. 创建~/.duckdb/config文件，填入以下内容：

[main]
load_extensions = httpfs
gcs_access_key_id = 你的实际ACCESS_KEY_ID
gcs_secret_access_key = 你的实际SECRET_ACCESS_KEY

2. 替换上述占位符为从hmac.yaml中提取的真实凭证。
3. 限制配置文件权限避免敏感信息泄露：

chmod 600 ~/.duckdb/config

4. 直接调用DuckDB即可访问GCS，无需额外参数：

duckdb -s "SELECT * FROM read_parquet('gs://my-bucket/date=2018-03-03/*.parquet');"

方案3：简化Wrapper脚本 #

若仍需保留wrapper模式，可合并逻辑，无需单独生成初始化SQL：

cat <<EOF > /usr/local/bin/duckdb_custom
#!/bin/bash
# 替换为实际的DuckDB可执行文件路径
exec /usr/bin/duckdb -c "LOAD httpfs; CREATE SECRET (TYPE gcs, KEY_ID '${GCS_ACCESS_KEY_ID}', SECRET '${GCS_SECRET_ACCESS_KEY}');" "\$@"
EOF
chmod +x /usr/local/bin/duckdb_custom

之后直接用duckdb_custom替代原duckdb命令即可。

内容的提问来源于stack exchange，提问作者TPPZ