AWS S3存储桶PDF对象按姓氏/邮编搜索方案咨询

以下是几个可行的方案，覆盖不同复杂度和需求场景：

方案1：S3对象标签 + S3 Inventory + Athena 查询 #

1. 批量添加对象标签：给每个PDF对象添加结构化标签（比如Name、LastName、ZipCode），可通过AWS CLI结合脚本批量处理：

   # 示例：遍历S3对象，拆分文件名并添加标签
   aws s3 ls s3://your-bucket/ --recursive | while read -r line; do
     obj_key=$(echo $line | awk '{print $4}')
     filename=$(basename "$obj_key" .pdf)
     name=$(echo $filename | awk '{print $1}')
     last_name=$(echo $filename | awk '{print $2}')
     zip=$(echo $filename | awk '{print $3}')
     aws s3api put-object-tagging --bucket your-bucket --key "$obj_key" --tagging "TagSet=[{Key=Name,Value=$name},{Key=LastName,Value=$last_name},{Key=ZipCode,Value=$zip}]"
   done
   

2. 开启S3 Inventory：在S3存储桶配置中开启Inventory，选择导出对象标签信息，生成CSV格式的清单文件存储到指定位置。
3. Athena查询：在Athena中创建指向Inventory清单的表，直接通过标签字段（Name、LastName、ZipCode）进行过滤查询，无需处理PDF内容。

方案2：Amazon OpenSearch Service 索引搜索 #

如果需要支持全文检索+多字段过滤，可以用OpenSearch构建索引：

• 用Lambda函数监听S3的对象上传事件，或批量遍历现有对象：
  1. 拆分文件名提取Name、LastName、ZipCode字段；
  2. 调用Amazon Textract提取PDF中的文本内容（如需全文搜索）；
  3. 将元数据和文本内容写入OpenSearch索引。
• 之后通过OpenSearch的DSL查询语句，实现任意字段的精确搜索或模糊匹配，比如按姓氏Smith、邮编90005检索，甚至搜索PDF内的文本内容。

方案3：DynamoDB 元数据索引 #

适合轻量级、低成本的字段搜索需求：

1. 创建DynamoDB表，设置Name、LastName、ZipCode为全局二级索引（GSI），主键用S3对象键或自定义ID；
2. 批量导入现有PDF的元数据：遍历S3对象，拆分文件名后写入DynamoDB；后续上传新PDF时，同步写入对应记录；
3. 查询时直接通过DynamoDB的GSI快速筛选出匹配的对象键，再到S3中获取对应的PDF文件。

方案4：Glue爬虫 + Athena 文件名拆分查询 #

无需修改S3对象，直接通过解析文件名实现多维度搜索：

1. 用AWS Glue创建爬虫，指向目标S3存储桶，爬虫会自动抓取对象的元数据（包括文件名）；
2. 在Athena中基于Glue生成的表，用SQL函数拆分文件名字段：

   SELECT 
     s3_object_key,
     SPLIT_PART(REPLACE(basename(s3_object_key), '.pdf', ''), ' ', 1) AS name,
     SPLIT_PART(REPLACE(basename(s3_object_key), '.pdf', ''), ' ', 2) AS last_name,
     SPLIT_PART(REPLACE(basename(s3_object_key), '.pdf', ''), ' ', 3) AS zip_code
   FROM your_glue_table
   WHERE last_name = 'Smith' OR zip_code = '90005'
   

3. 直接通过Athena执行上述SQL，即可按姓氏或邮编筛选对应的S3对象。

内容的提问来源于stack exchange，提问作者sdkobby4u