在Quicksight中限制数据库访问及跨客户端数据安全方案问询

针对你100个同Schema客户端数据库的流式同步、数据隔离及跨客户端查询需求，以下是可落地的实现方案：

• 主题命名规则：给每个客户端分配唯一ID（如client_001至client_100），Debezium捕获每个SQL Server源库变更时，将数据发送到带客户端ID前缀的主题，例如db.changes.client_001.sales、db.changes.client_001.users。同时创建全局聚合主题db.changes.global.sales，专门汇总所有客户端的销售数据（需给每条记录新增client_id标识）。
• Kafka ACL权限设置：
  • 每个客户端的服务账号仅开放对应前缀主题的READ权限，完全禁止访问其他客户端的主题。
  • 全局聚合主题仅对销售经理的服务账号、同步到Postgres全局库的Kafka Connect连接器开放READ权限。
  • Debezium连接器账号需拥有所有客户端主题和全局聚合主题的WRITE权限。
• Debezium客户端ID注入配置：在每个客户端的Debezium连接器配置中添加以下参数，确保每条变更消息都带上客户端标识：

  transforms=addClientId
  transforms.addClientId.type=org.apache.kafka.connect.transforms.InsertField$Value
  transforms.addClientId.fields=client_id
  transforms.addClientId.value=client_XXX  # 替换为对应客户端ID
  

• 存储架构设计：采用单库多Schema模式：
  • 每个客户端对应一个独立Schema（如client_001、client_002），所有Schema的表结构与源库完全一致。
  • 创建global Schema，存储全客户端聚合数据（如global.sales包含所有客户端的销售记录，带client_id字段）。
• 数据库权限管控：
  • 每个客户端的数据库用户仅拥有对应Schema的SELECT/INSERT/UPDATE权限，无法访问其他客户端Schema和global Schema。
  • 销售经理的数据库用户拥有所有客户端Schema和global Schema的SELECT权限。
• 同步逻辑：
  • 用Kafka Connect的JDBC连接器，将每个客户端主题的数据同步到对应Postgres Schema的表中。
  • 全局聚合主题的数据同步到global Schema的对应表（实时性优先推荐此方式；若允许延迟，也可通过Postgres触发器或定时任务从各客户端Schema汇总数据）。
• 跨查询实现：
  • 客户端用户查询时，仅能访问自身Schema下的表（如client_001.sales），自然实现数据隔离。
  • 销售经理可直接查询global.sales获取全量数据，也可通过UNION ALL拼接所有客户端Schema的表（但聚合表的查询性能更优）。

• 数据集配置：
  • 为每个客户端创建专属数据集，数据源指向Postgres中对应客户端的Schema，仅包含该客户端的表。
  • 创建全局数据集，数据源指向Postgres的global Schema，包含全客户端聚合数据。
• 权限控制：
  • 每个客户端的Quicksight用户仅能访问自身专属数据集，无法查看其他客户端数据集和全局数据集。
  • 销售经理的Quicksight用户拥有所有客户端数据集和全局数据集的访问权限。
• 报表设计：
  • 为客户端制作专属销售分析报表，基于其专属数据集，仅展示自身数据。
  • 为销售经理制作全量销售分析报表，基于全局数据集，支持按client_id筛选单个客户端数据，同时展示全量汇总指标。

• 数据加密：Kafka启用SSL传输加密，Postgres启用透明数据加密（TDE），Quicksight数据集开启加密配置。
• 审计日志：开启Kafka审计日志、Postgres审计日志和Quicksight访问日志，监控所有数据访问与变更行为。
• 定期权限审计：定期检查Kafka ACL、Postgres用户权限和Quicksight权限配置，杜绝越权访问风险。

内容的提问来源于stack exchange，提问作者Peter Gerald Smith