如何通过GCP云函数安装或创建Composer环境

我太懂你搜遍全网找不到合适文档和示例的憋屈了！毕竟用云函数来创建Composer环境的场景确实不算大众，下面我就把实操步骤给你掰碎了讲——先明确下：GCP的Cloud Composer是托管式服务，咱们不是像本地那样「安装」它，而是在GCP上创建托管环境实例，用云函数来自动化这个流程完全可行。

一、先给云函数配齐必要权限 #

云函数要能创建Composer环境，得给它的服务账号开对权限，不然肯定会碰权限墙：

• 找到你的云函数关联的服务账号（默认是[PROJECT_ID]@appspot.gserviceaccount.com）
• 给这个账号添加Composer Administrator预定义角色，或者更细粒度的话，至少要加composer.environments.create权限，再搭配Service Account User（部署环境时需要用到其他服务账号）、Storage Admin（创建配套的GCS存储桶）这两个权限。

二、选择云函数的运行环境 #

推荐用Python 3.9及以上版本，因为GCP的Python客户端库对Composer API的支持最成熟，配置起来也最省心。

三、编写云函数代码 #

1. 配置依赖文件（requirements.txt） #

云函数运行时需要拉取Composer的客户端库，所以新建一个requirements.txt文件，内容如下：

google-cloud-composer==1.19.0

版本号可以根据GCP官方的最新支持版本调整，别用太老的就行。

2. 主函数代码（main.py） #

这里以HTTP触发的云函数为例，你可以直接用Postman或者curl调用它来创建环境，代码里的参数也可以改成动态从请求里获取，或者先硬编码测试：

from google.cloud import composer_v1
from google.protobuf import field_mask_pb2

def create_composer_environment(request):
    # 解析请求里的配置参数，测试阶段也可以直接硬编码你的项目信息
    request_json = request.get_json(silent=True)
    if not request_json:
        return "请传入环境配置的JSON参数哦", 400

    # 从请求里取参数，没有的话用默认值
    project_id = request_json.get("project_id", "你的GCP项目ID")
    region = request_json.get("region", "us-central1")
    env_name = request_json.get("env_name", "我的第一个Composer环境")
    zone = request_json.get("zone", "us-central1-a")

    # 初始化Composer的客户端
    client = composer_v1.EnvironmentsClient()
    parent_path = f"projects/{project_id}/locations/{region}"

    # 定义Composer环境的核心配置
    env_config = {
        "node_count": 3,  # 基础节点数，业务量大的话可以调多
        "zone": zone,
        "node_config": {
            "machine_type": "n1-standard-1",  # 机器类型，按需升级，比如n1-standard-2
            "service_account": f"{project_id}@appspot.gserviceaccount.com"  # 用默认的App Engine服务账号即可
        },
        "software_config": {
            # 这里要填GCP支持的Composer+Airflow版本组合，别瞎填
            "image_version": "composer-2.6.0-airflow-2.8.0"
        }
    }

    # 组装创建环境的请求
    create_request = composer_v1.CreateEnvironmentRequest(
        parent=parent_path,
        environment_id=env_name,
        environment=env_config
    )

    # 发送请求，创建Composer环境是长期运行操作（LRO），不会立刻完成
    operation = client.create_environment(request=create_request)
    print(f"开始创建Composer环境啦，操作ID：{operation.operation.name}")

    # 等待操作完成（如果不需要同步等结果，可以注释掉这步，直接返回操作ID让用户自己查状态）
    # 注意：创建Composer环境通常要15-30分钟，所以超时时间设长点
    final_response = operation.result(timeout=3600)

    return f"搞定！Composer环境创建完成，环境完整名称：{final_response.name}", 200

四、部署和测试云函数的注意点 #

• 部署云函数时，要选和你要创建的Composer环境同区域，比如都选us-central1，这样延迟更低，也能避免跨区域的权限问题。
• 如果是HTTP触发的云函数，记得在部署时开启身份验证，只允许授权的用户/服务调用，别开公网无权限访问，防止被滥用。
• 测试的时候，你可以用curl发送POST请求，比如：

curl -X POST -H "Content-Type: application/json" \
-d '{"project_id":"你的项目ID","region":"us-central1","env_name":"test-composer-env"}' \
https://us-central1-你的项目ID.cloudfunctions.net/create_composer_environment

常见问题答疑 #

• Q：为什么是「创建」不是「安装」？
  A：因为Cloud Composer是GCP托管的Apache Airflow服务，GCP会帮你打理底层的服务器、Airflow配置、依赖更新这些杂事，咱们只需要创建一个托管的环境实例就行，不用像本地那样手动安装Composer工具。
• Q：报错PermissionDenied怎么办？
  A：去云函数的服务账号页面，检查有没有加对Composer相关的权限，或者直接给账号手动授予composer.environments.create权限。
• Q：怎么找支持的Composer版本？
  A：用gcloud命令查：gcloud composer environments list-versions --region=你的区域，会列出当前所有可用的Composer+Airflow版本组合。

备注：内容来源于stack exchange，提问作者xlsxxlsxxlsx