如何解决BigQuery UDF中JS校验GCS文件存在的require报错？

为啥会报ReferenceError: require is not defined #

BigQuery的JavaScript UDF运行在V8浏览器引擎环境里，不是Node.js环境，不支持Node.js独有的require语法，也没法直接加载npm包（比如@google-cloud/storage），所以直接在UDF里写require肯定会触发这个错误。

可行的实现方案 #

方案1：用BigQuery内置FILE_EXISTS函数（最省事） #

BigQuery本身就提供了内置SQL函数FILE_EXISTS，直接就能检查GCS文件是否存在，完全不需要编写JS UDF。

示例用法：

SELECT FILE_EXISTS('gs://你的桶名/文件路径/文件名.txt') AS file_exists;

• 返回值：TRUE表示文件存在，FALSE表示不存在。
• 支持通配符查询，比如检查某个前缀下是否有匹配文件：

SELECT FILE_EXISTS('gs://你的桶名/路径前缀-*.txt') AS has_matching_files;

方案2：通过外部函数调用Cloud Functions #

如果需要更复杂的逻辑（比如批量检查、自定义权限校验等），可以把文件检查的逻辑放到Cloud Functions中，再让BigQuery通过外部函数调用它：

1. 编写Cloud Functions HTTP函数
   创建一个Node.js的Cloud Functions，用@google-cloud/storage实现文件检查逻辑：

   const { Storage } = require('@google-cloud/storage');
   const storage = new Storage();
   
   exports.checkGcsFileExists = async (req, res) => {
     const { bucket, filePath } = req.body;
     try {
       const file = storage.bucket(bucket).file(filePath);
       const [exists] = await file.exists();
       res.status(200).json({ exists });
     } catch (err) {
       res.status(500).json({ error: err.message });
     }
   };
   

   部署该函数后，获取它的HTTP触发URL。

2. 在BigQuery中创建外部函数

   CREATE OR REPLACE FUNCTION `你的项目.你的数据集.check_gcs_file_exists`(bucket STRING, filePath STRING)
   RETURNS BOOLEAN
   REMOTE WITH CONNECTION `你的项目.us-central1.你的连接名`
   OPTIONS (
     endpoint = 'https://你的云函数地址.cloudfunctions.net/checkGcsFileExists',
     user_defined_context = ["{\"timeout\": \"30s\"}"]
   );
   

   注意：需要先创建BigQuery与Cloud Functions的连接（按BigQuery外部函数官方配置步骤操作即可）。

3. 调用外部函数

   SELECT `你的项目.你的数据集.check_gcs_file_exists`('你的桶名', '文件路径/文件名.txt') AS file_exists;
   

方案3：维护GCS文件列表表，用SQL查询 #

如果需要频繁检查文件，可以定期把GCS的文件列表同步到BigQuery表，后续直接用SQL查询判断：

1. 同步GCS文件列表到BigQuery
   可以用bq命令行工具导出列表再导入，或者写Cloud Functions定期同步。示例命令：

   bq ls -r gs://你的桶名/目标路径/ > files.csv
   bq load --source_format=CSV 你的项目.你的数据集.gcs_files files.csv path:string,size:int,updated:timestamp
   

2. 查询表判断文件是否存在

   SELECT EXISTS(SELECT 1 FROM `你的项目.你的数据集.gcs_files` WHERE path = 'gs://你的桶名/文件路径/文件名.txt') AS file_exists;
   

内容的提问来源于stack exchange，提问作者Eunhee Cho