基于Spark Structured Streaming的Azure Synapse多租户隔离配置问询

针对多租户架构下的近实时流处理需求，结合Azure Synapse和Delta Tables，可通过作业级隔离+数据路径绑定+权限管控实现每个租户的独立流作业与数据全链路隔离，具体落地方式如下：

一、租户专属流作业配置 #

• 为每个租户创建独立的Spark作业定义，将租户ID作为核心参数嵌入作业配置，作业运行时通过参数传递专属容器路径，避免硬编码。
• 示例参数配置与路径绑定代码：

  // 从作业参数中获取租户ID与容器路径
  val tenantId = dbutils.widgets.get("tenantId")
  val containerPath = s"abfss://${tenantId}@your-storage-account.dfs.core.windows.net/"
  
  // 设置Delta Lake的Azure存储适配
  spark.conf.set("spark.sql.streaming.delta.logStore.class", "org.apache.spark.sql.delta.storage.AzureLogStore")
  

• 资源隔离：可选择为每个租户分配专用Spark池，或在共享池中通过配置spark.executor.instances、spark.executor.memory等参数限制单个作业的资源占用，避免租户间资源竞争。

二、流数据处理全链路隔离 #

1. 数据源隔离 #

• 如果采用Event Hub/Kafka作为流式入口，为每个租户创建专属主题/分区，流作业仅订阅对应租户的主题；如果从ADLS Gen2读取增量文件，作业仅监控租户专属容器下的源数据目录。
• 示例读取租户专属源数据：

  val rawDataPath = containerPath + "raw-stream-data/"
  val streamDF = spark.readStream.format("cloudFiles")
    .option("cloudFiles.format", "json")
    .load(rawDataPath)
  

2. 处理与存储隔离 #

• 所有中间处理结果、Delta表、流检查点数据都写入租户专属容器，确保数据静态隔离：

  val deltaTablePath = containerPath + "delta-tables/silver-layer/"
  val checkpointPath = containerPath + "stream-checkpoints/"
  
  streamDF.writeStream.format("delta")
    .option("checkpointLocation", checkpointPath)
    .start(deltaTablePath)
  

3. 权限管控 #

• 通过Azure RBAC为每个作业的服务主体仅分配对应租户容器的读写权限，杜绝跨租户数据访问。例如，为租户A的作业服务主体仅授予Storage Blob Data Contributor权限到租户A的容器。

三、Synapse/Structured Streaming原生支持的功能 #

• 作业参数化模板：Synapse支持基于模板快速生成租户专属作业，只需替换租户ID、容器路径等参数，无需重复编写处理逻辑。
• Delta Tables多路径适配：Delta Lake原生支持将表存储在任意ADLS路径，天然适配租户专属容器的存储模式，同时支持ACID特性保证数据一致性。
• Spark池资源隔离：Synapse Spark池支持作业级资源配额配置，共享池下可通过参数限制单个作业资源，专用池则完全为特定租户/租户组服务。
• 传输加密：Synapse与ADLS Gen2、Event Hub集成时默认支持HTTPS加密，传输中数据自动加密，保障数据传输安全。

内容的提问来源于stack exchange，提问作者Deepak Kumar