如何在DynamoDB中查询属性为输入值子串的条目？

可以实现这类反向子串匹配查询，但DynamoDB内置的条件表达式不支持直接写contains(:input_value, attribute_name)，需要根据数据规模和业务场景选择不同方案：

1. 小数据量场景：全表扫描+客户端过滤 #

如果你的表数据量不大（比如几千条以内），可以直接用Scan操作获取所有条目，然后在客户端代码里过滤出符合条件的记录。

示例Python代码：

import boto3

dynamodb = boto3.resource('dynamodb')
table = dynamodb.Table('your-table-name')

input_str = 'https://us-east-1.console.aws.amazon.com/'
response = table.scan()
matches = [item for item in response['Items'] if item['domain'] in input_str]

# 处理分页（如果表数据超过1MB）
while 'LastEvaluatedKey' in response:
    response = table.scan(ExclusiveStartKey=response['LastEvaluatedKey'])
    matches.extend([item for item in response['Items'] if item['domain'] in input_str])

print(matches)

注意：这种方法会遍历全表，性能和成本随数据量增长线性上升，只适合小数据量场景。

2. 大数据量场景：预处理输入值+GSI查询 #

如果你的输入值（比如示例中的URL）有固定结构，可以先拆解出所有可能匹配的domain候选值，再通过全局二级索引（GSI）快速查询。

步骤： #

• 给domain字段创建全局二级索引（GSI），指定domain为索引主键。
• 解析输入值，提取所有可能的目标domain（比如从URL中提取根域名、子域名等）。
• 使用IN条件查询GSI，匹配候选domain值。

示例Python代码（结合域名解析）：

import boto3
import tldextract

dynamodb = boto3.resource('dynamodb')
table = dynamodb.Table('your-table-name')

input_url = 'https://us-east-1.console.aws.amazon.com/'
# 提取URL中的域名部分
extracted = tldextract.extract(input_url)
possible_domains = [
    f"{extracted.domain}.{extracted.suffix}",  # amazon.com
    f"{extracted.subdomain}.{extracted.domain}.{extracted.suffix}"  # console.aws.amazon.com
]

# 查询GSI
response = table.query(
    IndexName='domain-gsi',
    KeyConditionExpression=boto3.dynamodb.conditions.Key('domain').in_(possible_domains)
)

matches = response['Items']
# 处理分页
while 'LastEvaluatedKey' in response:
    response = table.query(
        IndexName='domain-gsi',
        KeyConditionExpression=boto3.dynamodb.conditions.Key('domain').in_(possible_domains),
        ExclusiveStartKey=response['LastEvaluatedKey']
    )
    matches.extend(response['Items'])

print(matches)

优势：利用索引避免全表扫描，性能和成本可控，适合大数据量场景。
局限：依赖输入值的结构可预测性，能拆解出明确的候选匹配值。

3. 高灵活场景：同步数据到外部搜索引擎 #

如果需要支持任意字符串的反向子串匹配，且数据量较大，可以将DynamoDB数据同步到Elasticsearch这类支持自定义脚本查询的搜索引擎：

• 配置DynamoDB Streams，自动将数据变更同步到Elasticsearch。
• 在Elasticsearch中创建索引，将domain字段设为可检索。
• 查询时使用Elasticsearch的脚本查询，判断输入值是否包含domain字段值。

示例Elasticsearch查询DSL：

{
  "query": {
    "script": {
      "script": {
        "source": "params.input.contains(doc['domain'].value)",
        "params": {
          "input": "https://us-east-1.console.aws.amazon.com/"
        }
      }
    }
  }
}

优势：支持任意反向子串匹配，查询性能优异。
局限：需要额外维护外部服务，增加架构复杂度和运维成本。

内容的提问来源于stack exchange，提问作者Juarez Junior