无需Serverless VPC Connector，Cloud Function与Cloud Composer私有连接替代方案

以下是几个低成本、无需VPC连接器的私有连接方案，基于GCP原生服务的身份验证与受控访问实现：

方案1：通过Airflow REST API（带IAM授权）直接调用 #

Cloud Composer默认提供Airflow REST API端点，可通过IAM权限控制让Cloud Function的服务账号安全调用该API触发DAG，完全无需VPC连接：

• 给Cloud Function的服务账号分配roles/composer.environmentRunner或更细粒度的composer.environments.invoke权限，确保其能访问目标Composer环境的Airflow API；
• 在Cloud Function代码中，使用GCP默认身份验证库（如Python的google-auth）自动获取访问令牌，调用Composer环境的Airflow DAG触发端点（示例：https://<composer-web-ui-url>/api/v1/dags/<dag-id>/dagRuns）；
• 可选配置：将Composer环境设为私有IP模式，同时给Cloud Function启用私有访问范围，让API调用走GCP内部网络，避免公网暴露，全程无需VPC连接器，成本仅来自Cloud Function与Composer本身。

方案2：用Pub/Sub作为消息中间件 #

利用Pub/Sub的受控消息传递实现无VPC连接的触发：

• 创建私有Pub/Sub主题，配置IAM权限：仅允许Cloud Function的服务账号发布消息，允许Cloud Composer的服务账号订阅该主题；
• Cloud Function触发工作流时，向该主题发布含DAG触发参数的消息；
• 在Cloud Composer的Airflow中配置Pub/Sub Trigger（通过PubSubSensor或PubSubTriggerDagRunOperator），监听主题消息，收到后启动对应DAG；
• 此方案完全解耦Cloud Function与Composer，Pub/Sub调用走GCP原生安全通道，无额外VPC资源成本，免费额度可覆盖大部分场景。

方案3：通过工作负载身份绑定Composer服务账号 #

若需更细粒度权限控制，可通过工作负载身份将Cloud Function服务账号与Composer服务账号绑定：

• 在GCP IAM中创建工作负载身份绑定，允许Cloud Function的服务账号模拟Composer环境服务账号；
• Cloud Function可直接以Composer服务账号身份调用Airflow API或操作Composer资源，所有通信通过GCP内部身份验证通道完成，无需VPC连接器；
• 适合需对Composer进行更多操作（如修改DAG配置）的场景，仅产生Cloud Function与Composer的基础成本。

内容的提问来源于stack exchange，提问作者John