使用AWS Secrets Manager存储Airflow的dbt Cloud连接解析失败求助

问题原因 #

你遇到的错误是因为urllib解析连接URL时，把API Token里的/当成了端口分隔符。Airflow的dbt-cloud连接URL格式dbt-cloud://account_id:api_token@中，@前的account_id:api_token会被解析为用户名:密码，但如果密码（Token）里有/，解析器会错误地把/后面的内容识别为端口号，进而尝试将非数字的字符串转成整数，触发ValueError。

解决方案 #

• URL编码API Token中的特殊字符
  把Token里的/替换成URL编码值%2F，再构造连接字符串。比如原Token是dbts_-abc/Qo==，编码后变为dbts_-abc%2FQo==，最终连接字符串为：

  dbt-cloud://111:dbts_-abc%2FQo==@
  

  这样urllib就能正确解析整个Token作为密码部分，不会误识别端口。

• 改用JSON格式存储连接信息
  AWS Secrets Manager支持直接存储Airflow连接的JSON结构，这种方式和UI配置逻辑一致，不会触发URL解析问题。示例JSON内容：

  {
    "conn_type": "dbt-cloud",
    "login": "你的account_id",
    "password": "含/的API Token",
    "extra": {}
  }
  

  配置Airflow读取该Secret时，会自动映射到对应的连接字段，避免URL解析的坑。

内容的提问来源于stack exchange，提问作者callmedivs