如何通过Python在DynamoDB表中实现类正则文本匹配？

问题 #

我现在用Python操作DynamoDB的代码是这样的：

response = ddb.get_item(
    TableName = table,
    Key={
        'col_name': {'S': 'a'}
    }
)

我知道这段代码是按完整字符串'a'精确匹配主键返回表项，但我需要实现子串匹配查询：比如当某列的值是"I am good"时，搜索字符串"am"就能检索到包含这个子串的行。本质是要匹配子串而非完整字符串，请问该怎么实现？

解决方案 #

DynamoDB本身不支持原生的任意子串匹配（类似SQL的LIKE '%am%'），得根据你的数据规模和业务需求选合适的方案：

1. 小数据集：用Scan+FilterExpression（简单但性能有限）

如果你的表数据量不大（比如几千条以内），可以直接用scan操作配合contains函数做过滤，contains能检查目标字符串是否包含指定子串。代码示例：

response = ddb.scan(
    TableName=table,
    FilterExpression="contains(col_name, :sub_str)",
    ExpressionAttributeValues={
        ":sub_str": {"S": "am"}
    }
)
# 获取匹配的结果
matched_items = response.get('Items', [])

注意：scan会遍历全表，数据量大时性能差、耗读容量单位（RCU），不适合生产环境的大数据集。

2. 预生成子串索引：适合短文本场景

如果你的目标字符串比较短，可以在写入数据时，提取该字符串的所有可能子串，存储到全局二级索引（GSI）中，查询时直接用query匹配索引。比如对于"I am good"，可以提取拆分后的单词、组合词作为子串：

# 写入数据时生成子串集合
text = "I am good"
substrings = set()
# 拆分单词并生成组合子串（可根据需求调整粒度）
words = text.split()
for i in range(len(words)):
    for j in range(i+1, len(words)+1):
        substr = ' '.join(words[i:j])
        substrings.add(substr)
# 写入DynamoDB，把子串存在集合类型字段里
ddb.put_item(
    TableName=table,
    Item={
        'primary_key': {'S': 'item_001'},
        'col_name': {'S': text},
        'gsi_substr': {'SS': list(substrings)}  # SS是字符串集合类型
    }
)

提前创建好以gsi_substr为排序键的GSI后，查询代码如下：

response = ddb.query(
    TableName=table,
    IndexName='gsi_substr-index',
    KeyConditionExpression="gsi_substr = :sub_str",
    ExpressionAttributeValues={
        ":sub_str": {"S": "am"}
    }
)

缺点：长文本会生成大量子串，导致存储成本飙升，仅适合短文本场景。

3. 大数据集：用全文检索引擎（推荐）

如果数据量大且需要频繁做子串/全文检索，最优方案是把DynamoDB数据同步到OpenSearch（或Elasticsearch）。通过DynamoDB Streams自动同步数据后，用全文检索引擎的语法实现高效的子串匹配，这是生产环境大数据集的常用方案。

4. 前缀/后缀匹配：用Query+begins_with/ends_with

如果你的需求是前缀（比如找以"I am"开头的字符串）或后缀匹配，可以用query配合begins_with/ends_with函数，性能远优于scan：

# 前缀匹配示例：找col_name以"I am"开头的项
response = ddb.query(
    TableName=table,
    IndexName='col_name-index',  # 提前创建以col_name为排序键的GSI
    KeyConditionExpression="begins_with(col_name, :prefix)",
    ExpressionAttributeValues={
        ":prefix": {"S": "I am"}
    }
)

内容的提问来源于stack exchange，提问作者Srivatsan Subramanian