如何通过安全连接从GCS读取CSV至Neo4j？非公开Bucket方案

问题背景 #

我的原始数据来自BigQuery，已经创建了DAG任务，按WHERE条件提取相关字段并将数据存储为CSV文件到Google Cloud Storage（GCS）。下一步计划使用LOAD CSV WITH HEADERS FROM gs://link-to-bucket/file.csv语句将CSV数据导入Neo4j数据库，但直接使用GCS URI无法实现。请问除了将Bucket设为公开外，还有什么建立安全连接读取文件的方法？我的尝试代码如下：

uri = "gs://link-to-bucket/file.csv"
def create_LP_query(uri):
    query_string = f"""
        LOAD CSV WITH HEADERS FROM '{uri}' AS row
        MERGE (l:Limited_Partner:Company {{id: row.id}})
        SET l.Name = row.Name """

以下是几种无需公开GCS Bucket即可安全读取文件的方案：

• 使用Neo4j官方GCS连接器
  这是最推荐的集成方案，步骤如下：

  1. 安装对应Neo4j版本的GCS连接器插件
  2. 在neo4j.conf中配置服务账号认证：

     dbms.gcs.auth.type=service_account
     dbms.gcs.auth.service_account.keyfile=/path/to/your-service-account-key.json
     

  3. 配置完成后，你的原有LOAD CSV查询无需修改即可直接使用GCS URI，连接器会自动处理权限验证

• 生成GCS签名URL
  为目标CSV文件生成带有效期的签名URL，Neo4j可直接访问该HTTP URL：

  1. 用Python生成签名URL的示例代码：

     from google.cloud import storage
     import datetime
     
     def generate_signed_url(bucket_name, blob_name):
         storage_client = storage.Client()
         bucket = storage_client.bucket(bucket_name)
         blob = bucket.blob(blob_name)
         # 设置URL有效期，比如1小时
         expiration = datetime.timedelta(hours=1)
         return blob.generate_signed_url(expiration=expiration)
     
     signed_uri = generate_signed_url("your-bucket-name", "file.csv")
     

  2. 将生成的signed_uri传入你的查询函数，此时LOAD CSV使用带签名的HTTP地址，无需公开Bucket

• 本地中转文件
  如果Neo4j服务器可访问GCS，先将文件下载到本地再导入：

  1. 用gsutil命令下载文件：

     gsutil cp gs://link-to-bucket/file.csv /var/lib/neo4j/import/file.csv
     

  2. 修改查询使用本地文件路径：

     LOAD CSV WITH HEADERS FROM 'file:///file.csv' AS row
     MERGE (l:Limited_Partner:Company {id: row.id})
     SET l.Name = row.Name
     

• 搭建代理服务
  开发一个轻量代理服务，该服务通过服务账号认证访问GCS，Neo4j通过HTTP请求代理服务获取CSV内容，适合需要自定义权限逻辑的场景。

内容的提问来源于stack exchange，提问作者le Minh Nguyen