独立执行curl无需凭证可调用API，Python执行失败的解决方案

我需要开发一个每日运行的工具，流程如下：

• 调用产品列表接口 https://openbank.api.nab.com.au/cds-au/v1/banking/products 获取productId
• 利用获取到的productId调用产品详情接口 https://openbank.api.nab.com.au/cds-au/v1/banking/products/{productId}
• 对产品详情数据做分析

公司网络管控严格，使用Postman或Python直接调用API必须提供代理认证凭证，但硬编码凭证属于不良实践。测试发现单独执行curl命令：

curl -X GET "https://openbank.api.nab.com.au/cds-au/v1/banking/products" -H "x-v: 3"

无需凭证即可成功获取响应，但Postman、Python直接调用均失败；尝试在Python中执行该curl命令，还出现了cURL Error 6: 无法解析主机的错误。

请问该场景下的最优方案是什么？如何用curl完成整个需求流程？

一、最优方案：基于curl的脚本化实现 #

curl能直接成功，大概率是公司网络针对curl做了系统级代理自动配置（比如全局~/.curlrc配置、网络规则放行），而Postman/Python默认未继承这些配置，导致需要手动提供凭证。基于curl做脚本化实现是最适配当前环境的方案。

1. 编写shell脚本实现完整流程 #

创建fetch_banking_products.sh脚本，整合列表获取、详情拉取、数据分析逻辑：

#!/bin/bash

# 1. 拉取产品列表并提取所有productId
PRODUCT_LIST=$(curl -s -X GET "https://openbank.api.nab.com.au/cds-au/v1/banking/products" -H "x-v: 3")
# 依赖jq工具解析JSON（需提前安装：apt install jq / brew install jq）
PRODUCT_IDS=$(echo "$PRODUCT_LIST" | jq -r '.data[] | .productId')

# 2. 遍历productId获取详情并做分析
# 清空之前的分析结果文件
> product_analysis.txt

for ID in $PRODUCT_IDS; do
    echo "正在处理产品ID：$ID"
    PRODUCT_DETAIL=$(curl -s -X GET "https://openbank.api.nab.com.au/cds-au/v1/banking/products/$ID" -H "x-v: 3")
    # 示例分析逻辑：提取产品名称、描述、核心特性，追加到结果文件
    echo "=== 产品ID：$ID ===" >> product_analysis.txt
    echo "$PRODUCT_DETAIL" | jq '.data | {名称: .name, 描述: .description, 核心特性: .features[].name}' >> product_analysis.txt
    echo "" >> product_analysis.txt
done

echo "完成！分析结果已保存至 product_analysis.txt"

2. 解决Python执行curl的解析错误 #

如果一定要用Python调用curl，无法解析主机是因为Python子进程未继承系统代理配置。可以让子进程继承系统环境变量：

import subprocess
import os

# 继承系统所有环境变量（包含代理配置）
cmd = ['curl', '-X', 'GET', 'https://openbank.api.nab.com.au/cds-au/v1/banking/products', '-H', 'x-v: 3']
result = subprocess.run(cmd, env=os.environ, capture_output=True, text=True)

if result.returncode == 0:
    print("请求成功：", result.stdout)
else:
    print("请求失败：", result.stderr)

但更推荐直接用shell脚本，避免Python的代理适配问题。

3. 设置定时任务实现每日自动运行 #

用crontab配置每日执行：

# 编辑定时任务
crontab -e
# 添加一行（示例：每天凌晨2点执行，输出日志到指定文件）
0 2 * * * /home/yourname/fetch_banking_products.sh >> /home/yourname/logs/fetch_bank_logs.log 2>&1

二、避免硬编码凭证的后续预案 #

如果后续curl也需要代理凭证，绝对不要硬编码到脚本：

• 将凭证存入环境变量：在用户登录脚本（如~/.bashrc）中添加export PROXY_USER="你的代理用户名"、export PROXY_PASS="你的代理密码"，脚本中直接引用$PROXY_USER和$PROXY_PASS
• 或使用curl配置文件：在~/.curlrc中添加代理配置：

proxy=http://your-proxy-server:port
proxy-user=$PROXY_USER:$PROXY_PASS

curl会自动读取该配置，无需在命令行显式指定。

三、注意事项 #

• 确保已安装jq工具，用于JSON解析
• 首次运行脚本时手动执行，检查是否有API限流、权限问题
• 若API有请求频率限制，可在循环中添加sleep 1（延迟1秒）避免触发限流

内容的提问来源于stack exchange，提问作者Nile