如何在GCP Cloud Run使用同一容器运行不同ETL Python脚本？

核心结论 #

完全可以用同一容器通过python {作业名}调用不同脚本，你的报错是因为Cloud Run Jobs的命令格式要求用数组形式，而非shell命令字符串。

错误原因 #

Cloud Run Jobs（包括普通Cloud Run）的命令参数是直接传递给容器入口程序的，不会经过shell解析。你在GUI里输入的python scrapers/polygon/all_ticker_types.py会被当作单个完整命令去查找，系统会尝试找/app/python scrapers/polygon/all_ticker_types.py这个可执行文件，自然找不到，所以报错。

修正操作步骤 #

方法1：在Cloud Run Jobs GUI中正确配置命令 #

在Cloud Run Jobs创建页面的「容器」配置部分：

• 命令：填写python
• 参数：填写scrapers/polygon/all_ticker_types.py（每个参数单独填一行，或用逗号分隔的数组形式）

对应容器启动命令逻辑为：

["python", "scrapers/polygon/all_ticker_types.py"]

和你本地docker run时的命令逻辑完全一致。

方法2：优化Dockerfile，简化命令输入 #

修改Dockerfile，把ENTRYPOINT固定为python，后续只需传递脚本路径作为参数：

FROM python:3.11
RUN apt-get update -y
COPY . /app
WORKDIR /app
RUN pip install -r requirements.txt
ENTRYPOINT ["python"]  # 固定入口为python解释器
CMD ["scrapers/polygon/all_ticker_types.py"]  # 默认执行的脚本，可被参数覆盖

之后在Cloud Run Jobs里，仅需在「参数」中填写对应脚本路径（比如scrapers/polygon/all_tickers.py），无需再指定python命令。

环境变量与权限配置补充 #

• 无需挂载本地密钥文件，直接为Cloud Run Jobs的服务账号分配对应GCP权限（如BigQuery读写、Cloud Storage权限等），避免手动管理密钥
• 在「环境变量」中添加POLYGON_API_KEY，填入你的API密钥

更优方案：统一入口脚本 #

若后续脚本数量增多，可编写统一入口脚本（如run_job.py），通过参数指定任务：

# run_job.py
import sys
import importlib

def main():
    if len(sys.argv) != 2:
        print("Usage: python run_job.py <job_name>")
        sys.exit(1)
    job_name = sys.argv[1]
    # 任务名与脚本路径映射
    job_map = {
        "dividends": "scrapers/polygon/all_dividends_history.py",
        "ticker_types": "scrapers/polygon/all_ticker_types.py",
        "tickers": "scrapers/polygon/all_tickers.py",
        "tickers_detail": "scrapers/polygon/all_tickers_detail.py",
        "tickers_history": "scrapers/polygon/all_tickers_history.py"
    }
    if job_name not in job_map:
        print(f"无效任务名，可选任务：{list(job_map.keys())}")
        sys.exit(1)
    # 导入并执行目标脚本
    spec = importlib.util.spec_from_file_location("job_module", job_map[job_name])
    job_module = importlib.util.module_from_spec(spec)
    spec.loader.exec_module(job_module)

if __name__ == "__main__":
    main()

修改Dockerfile的ENTRYPOINT为python run_job.py，之后在Cloud Run Jobs中只需传递任务别名作为参数：

• 参数填dividends即执行分红历史脚本
• 参数填ticker_types即执行 ticker 类型脚本

这种方式更易维护，也避免了输入长路径的麻烦。

内容的提问来源于stack exchange，提问作者Evan Volgas