基于DynamoDB表创建QuickSight数据集的最优方法及数据源问题咨询

一、解决QuickSight中看不到DynamoDB数据源的问题 #

• 检查IAM权限配置：确保QuickSight使用的服务角色具备访问DeploymentHistory表的权限。需给角色附加包含以下操作的IAM策略：

  {
      "Version": "2012-10-17",
      "Statement": [
          {
              "Effect": "Allow",
              "Action": [
                  "dynamodb:Scan",
                  "dynamodb:Query",
                  "dynamodb:DescribeTable"
              ],
              "Resource": "arn:aws:dynamodb:<你的区域>:<账户ID>:table/DeploymentHistory"
          }
      ]
  }
  

  操作路径：AWS控制台 → IAM → 角色 → 找到QuickSight服务角色（通常命名为aws-quicksight-service-role-v0） → 附加上述自定义策略。
• 确认区域匹配：DynamoDB表与QuickSight账户必须处于同一AWS区域，否则无法在数据源列表中识别该表。
• 验证QuickSight访问权限：进入QuickSight管理控制台 → “数据源”，确认是否显示DynamoDB选项；若仍无，检查账户是否被限制DynamoDB数据源访问（此类情况极少，核心仍为权限或区域问题）。

二、创建实时获取最新数据的QuickSight数据集 #

要实现每次打开分析都获取最新数据，核心是选择直接查询模式（而非导入到SPICE），以下是两种最优方案：

方案1：直接连接DynamoDB（推荐） #

解决数据源可见性问题后，按以下步骤操作：

1. 进入QuickSight控制台 → “数据集” → “新建数据集” → 选择DynamoDB数据源。
2. 选中DeploymentHistory表，点击“选择”进入数据准备界面。
3. 在数据准备阶段，确认右上角查询模式为**“直接查询”**（而非“导入到SPICE”）。
4. 按需完成数据清洗、转换（如过滤冗余字段、生成衍生指标），保存数据集。
5. 基于该数据集创建分析，每次打开时QuickSight都会直接查询DynamoDB获取最新数据。

注意：此方案会消耗DynamoDB的读取容量单位（RCU），若访问量较大，建议将DynamoDB表设置为按需容量模式，或调整预留RCU避免性能瓶颈。

方案2：通过Athena作为中间层（适合复杂查询场景） #

若需对DynamoDB数据执行复杂SQL操作（如多表关联、聚合计算），可借助Athena中转：

1. 在Athena控制台创建外部表，关联DeploymentHistory表：

   CREATE EXTERNAL TABLE deployment_history (
       -- 按你的DynamoDB表结构定义字段，示例：
       deployment_id STRING,
       deploy_time TIMESTAMP,
       status STRING
   )
   STORED BY 'org.apache.hadoop.hive.dynamodb.DynamoDBStorageHandler'
   TBLPROPERTIES (
       "dynamodb.table.name" = "DeploymentHistory",
       "dynamodb.column.mapping" = "deployment_id:deploymentId,deploy_time:deployTime,status:status"
   );
   

2. 在QuickSight中新建数据集，选择Athena作为数据源，选中上述外部表。
3. 设置查询模式为**“直接查询”**，保存数据集后创建分析。每次打开分析时，Athena会实时查询DynamoDB返回最新数据。

备选方案：Lambda+S3实时同步（适合无法直接连接的场景） #

若上述方案均无法实施，可通过Lambda触发数据同步：

1. 创建Lambda函数，通过DynamoDB流（或定时任务）触发，将DeploymentHistory的增量/全量数据导出为Parquet/CSV格式存储到S3。
2. 在QuickSight中创建S3数据源，选择直接查询模式，指向S3中的数据文件。
3. 借助Lambda的实时同步能力，QuickSight查询S3时即可获取最新数据。

内容的提问来源于stack exchange，提问作者Perez