如何借助Anaconda环境在Google App Engine部署应用？

一、核心解决思路 #

针对无法通过pip获取的自定义编译包（如Pylucene），核心是在GCP的部署环境中重现本地的安装/编译状态，或者提前将依赖打包为可直接安装的格式，以下是三种可行方案：

方案1：用Docker镜像封装完整运行环境（最推荐） #

通过Docker将你的应用、自定义依赖、Anaconda环境全部打包成镜像，确保运行环境和本地完全一致：

• 编写Dockerfile，示例如下：

# 基于Anaconda官方镜像，匹配你本地的环境版本
FROM continuumio/anaconda3:latest

# 设置工作目录
WORKDIR /app

# 复制本地编译好的自定义包（比如Pylucene的源码/安装文件）到镜像内
COPY local_custom_pkgs/ /tmp/custom_pkgs/

# 执行本地相同的安装命令（以Pylucene为例，根据实际编译步骤调整）
RUN cd /tmp/custom_pkgs/pylucene && python setup.py install

# 安装requirements.txt中的pip依赖
COPY requirements.txt .
RUN pip install -r requirements.txt

# 复制应用代码到镜像
COPY . .

# 设置Dash应用启动命令（假设入口文件为app.py，server是Dash暴露的服务对象）
CMD ["gunicorn", "--bind", ":8080", "app:server"]

• 构建镜像后推送到GCP Container Registry，再通过Cloud Run或GKE部署该镜像即可。

方案2：提前将自定义包打包为Wheel文件 #

把本地编译好的非pip包转为标准wheel格式，让pip可以直接安装：

1. 在本地Anaconda环境中，进入自定义包的源码目录，执行：

python setup.py bdist_wheel

2. 将生成的.whl文件（位于dist目录）和应用代码放在同一目录，修改requirements.txt添加wheel文件路径：

./dist/pylucene-8.11.0-cp39-cp39-linux_x86_64.whl
# 其他pip依赖
dash==2.14.2
gunicorn==21.2.0

3. 部署时确保wheel文件被包含在构建上下文内，GCP的部署工具会通过pip直接安装该wheel包，无需重新编译。

方案3：在GCP构建阶段现场编译依赖 #

如果不想提前打包，可在GCP的Cloud Build流程中重现本地编译步骤：

• 编写cloudbuild.yaml配置文件，示例片段：

steps:
# 安装编译所需系统依赖（以Pylucene为例，需要JDK、gcc等）
- name: 'ubuntu:latest'
  args: ['apt-get', 'update']
- name: 'ubuntu:latest'
  args: ['apt-get', 'install', '-y', 'openjdk-11-jdk', 'gcc', 'python3-dev']
# 复制本地自定义包源码到构建环境
- name: 'gcr.io/cloud-builders/git'
  args: ['clone', 'https://github.com/apache/lucene.git', '--depth', '1', '--branch', 'lucene-8.11.0']
# 编译安装自定义包
- name: 'python:3.9'
  args: ['bash', '-c', 'cd lucene/pylucene && python setup.py install']
# 安装pip依赖
- name: 'python:3.9'
  args: ['pip', 'install', '-r', 'requirements.txt']
# 部署到Cloud Run
- name: 'gcr.io/cloud-builders/gcloud'
  args: ['run', 'deploy', 'dash-app', '--source', '.', '--region', 'us-central1', '--allow-unauthenticated']

二、关于Anaconda环境上传GCP的问题 #

无法直接上传本地的Anaconda环境文件夹，但可以通过以下方式复用环境配置：

1. 在本地导出Anaconda环境配置：

conda env export > environment.yml

2. 在Dockerfile或Cloud Build步骤中，通过该配置文件重建环境：

conda env create -f environment.yml

3. 最稳妥的方式是将Anaconda环境封装到Docker镜像中，配合应用一起部署，避免环境不一致问题。

内容的提问来源于stack exchange，提问作者Icy Lemons