Google Cloud Functions调用DataFlow时报错：无法读取'getApplicationDefault'

我已经部署了一个Cloud Function用来调用DataFlow管道模板，计划通过上传文件到Cloud Storage存储桶来触发这个函数。在Node.js环境下，我已经完成了这些前置配置：

• 执行npm init初始化项目
• 安装依赖包：npm install --save googleapis

以下是我目前写的代码片段：

const google = require('googleapis');

exports.goWithTheDataFlow = function(event, callback) {
  const file = event.data;

  google.auth.getApplicationDefault(function (err, authClient, projectId) {
    if (err) {
      throw err;
    }
    console.log(projectId);
    if (authClient.createS... // 代码还没写完
  });
};

补全并完善Cloud Function代码 #

要完整实现调用DataFlow模板的逻辑，你需要补全认证范围配置，并调用DataFlow API启动模板。这里是完整的示例代码：

const google = require('googleapis');
const dataflow = google.dataflow('v1b3');

exports.goWithTheDataFlow = function(event, callback) {
  const file = event.data;
  
  // 跳过临时文件或目录（比如GCS上传时生成的隐藏文件）
  if (file.resourceState === 'not_exists' || file.name.startsWith('.')) {
    callback();
    return;
  }

  google.auth.getApplicationDefault(function (err, authClient, projectId) {
    if (err) {
      console.error('获取认证信息失败:', err);
      callback(err);
      return;
    }

    // 为DataFlow API添加必要的权限范围
    if (authClient.createScopedRequired()) {
      authClient = authClient.createScoped([
        'https://www.googleapis.com/auth/cloud-platform',
        'https://www.googleapis.com/auth/dataflow'
      ]);
    }

    // 配置DataFlow模板启动参数
    const request = {
      projectId: projectId,
      resource: {
        parameters: {
          // 传入刚上传的GCS文件路径作为模板输入
          inputFile: `gs://${file.bucket}/${file.name}`,
          // 根据你的模板需求添加其他参数
          outputFile: `gs://your-output-bucket/path/to/results`
        },
        jobName: `dataflow-job-${Date.now()}`, // 生成唯一任务名
        gcsPath: 'gs://your-template-bucket/path/to/your-dataflow-template', // 你的模板存储路径
        environment: {
          zone: 'us-central1-f' // 选择对应可用区
        }
      },
      auth: authClient
    };

    // 调用API启动DataFlow模板
    dataflow.projects.templates.launch(request, function(err, response) {
      if (err) {
        console.error('启动DataFlow模板失败:', err);
        callback(err);
        return;
      }
      console.log('DataFlow任务已启动:', response.data);
      callback();
    });
  });
};

关键注意事项 #

• 权限配置：确保Cloud Function的服务账号拥有DataFlow Developer和Storage Object Viewer权限，这样才能读取GCS文件信息并启动DataFlow任务。
• 触发规则：部署函数时要选择Cloud Storage的最终创建（finalize）触发器，避免在文件未上传完成时触发函数。
• 参数匹配：parameters里的键值对必须和你的DataFlow模板定义的参数完全一致，否则会启动失败。
• 错误处理：示例中添加了基础的错误捕获和日志输出，方便后续排查问题，你可以根据需求扩展更详细的处理逻辑。

部署命令参考 #

如果还没部署函数，可以用gcloud命令行工具完成部署：

gcloud functions deploy goWithTheDataFlow \
  --trigger-resource your-storage-bucket-name \
  --trigger-event google.storage.object.finalize \
  --runtime nodejs18 \
  --service-account your-function-service-account@your-project-id.iam.gserviceaccount.com

内容的提问来源于stack exchange，提问作者Jaison