第一个问题：Hive等值条件总会执行全表扫描吗？ #

答案是不一定，这取决于你的表结构、存储格式和配置：

• 如果你的表是分区表，并且等值条件针对分区键，Hive会直接跳过无关分区，只扫描目标分区的数据，不会触发全表扫描。
• 如果使用列式存储格式（如ORC、Parquet），Hive支持谓词下推，会在存储层就过滤掉不符合条件的数据，避免全表扫描。
• 若你给表创建了Hive索引（目前更推荐Spark索引或外部索引方案），等值查询也能通过索引快速定位数据，无需全表扫。
• 但如果是普通文本格式表，没有分区、索引，也不支持谓词下推，那等值查询确实会触发全表扫描。

第二个问题：DynamoDB外部表用hashKey查询仍全表扫描的解决办法 #

你遇到的问题大概率是Hive未将过滤条件下推给DynamoDB，而是自行拉取全表数据后再过滤。可以按以下步骤排查解决：

1. 开启DynamoDB谓词下推优化
   在执行查询前，必须设置这个关键参数，让Hive把hashKey的过滤条件直接传递给DynamoDB，利用其主键查询能力：

   set hive.dynamodb.optimize.filtering=true;
   

   这个参数默认是false，开启后Hive会将主键（HashKey/RangeKey）的等值、范围条件推送给DynamoDB，避免全表扫描。

2. 验证主键映射的正确性
   检查TBLPROPERTIES里的列映射是否完全匹配DynamoDB表的主键：

   • DynamoDB的主键名称是大小写敏感的，比如如果DynamoDB分区键是hashkey（小写），但你映射的是hashKey:HashKey，就会匹配失败，无法利用主键查询。
   • 确认hashKey确实映射到了DynamoDB的Partition Key（哈希键），而非普通属性。

3. 检查查询语句的语法
   确保查询中等值条件写法正确，Hive中字符串常量用单引号或双引号均可，推荐用单引号避免标识符冲突：

   select * from dynamodb where hashKey='test';
   

4. 验证DynamoDB存储Handler的兼容性
   确保你使用的org.apache.hadoop.hive.dynamodb.DynamoDBStorageHandler版本与Hive版本兼容。版本不匹配可能导致谓词下推功能失效，可以检查Hive lib目录下的hive-dynamodb-handler-*.jar版本是否对应你的Hive版本。

5. 通过DynamoDB指标验证
   执行查询后，查看DynamoDB控制台的CloudWatch指标：

   • 如果是主键查询，ReadCapacityUnits消耗会很小（仅对应匹配项）；
   • 如果仍为全表扫描，ReadCapacityUnits会大幅飙升，说明条件未成功下推。

内容的提问来源于stack exchange，提问作者sylvinho81