咨询：能否将Amazon S3对象元数据用作Amazon Kendra的分面及实现方法

核心结论 #

直接将S3对象元数据用作Kendra分面无法直接实现——Kendra默认索引文档时只会生成自身内置的元数据字段（如文档类型、创建时间），不会自动抓取S3对象的自定义元数据作为可分面字段。

具体实现步骤 #

要把S3元数据变成Kendra的可分面字段，需要完成元数据提取、字段关联、索引配置这几个关键环节，具体操作如下：

1. 提取S3对象的自定义元数据

用AWS SDK编写脚本遍历目标S3存储桶，批量获取对象的自定义元数据（以Python的boto3为例）：

import boto3

s3 = boto3.client('s3')
bucket_name = '你的存储桶名称'

# 分页遍历存储桶内所有对象
paginator = s3.get_paginator('list_objects_v2')
for page in paginator.paginate(Bucket=bucket_name):
    for obj in page.get('Contents', []):
        obj_key = obj['Key']
        # 获取对象元数据
        head_response = s3.head_object(Bucket=bucket_name, Key=obj_key)
        custom_meta = head_response.get('Metadata', {})
        # 将元数据与对象路径关联保存，比如写入JSON文件或DynamoDB
        # 示例：保存为字典格式 {obj_key: custom_meta}

2. 将元数据关联到Kendra索引字段

有两种可行方案：

• 方案一：嵌入原始文档
  把提取到的S3元数据插入到文档内容的固定位置（比如Markdown文档的YAML前置块、Word文档的页眉/自定义属性），让Kendra索引时能识别并提取这些字段。
• 方案二：使用Kendra自定义文档属性
  在Kendra索引中预定义可分面的自定义字段（比如Category、Department），然后通过BatchPutDocument API提交文档时，将S3元数据作为自定义属性传入，示例代码片段：

  kendra = boto3.client('kendra')
  # 构造带自定义属性的文档数据
  documents = [
      {
          'Id': '文档唯一ID',
          'Blob': b'文档内容字节流',
          'Attributes': [
              {
                  'Key': 'Category',
                  'Value': {'StringValue': custom_meta.get('x-amz-meta-category')}
              }
          ]
      }
  ]
  # 提交到Kendra索引
  kendra.batch_put_document(IndexId='你的索引ID', Documents=documents)
  

3. 配置Kendra分面字段

• 控制台操作：进入Kendra索引的「字段」配置页面，找到你定义的自定义字段，开启**可分面（Facetable）和可搜索（Searchable）**选项。
• API操作：调用UpdateIndex接口，在IndexConfiguration的FacetableFields列表中添加目标字段。

4. 重新索引文档

• 如果用了方案一，触发Kendra数据源的同步任务，让Kendra重新索引更新后的文档。
• 如果用了方案二，BatchPutDocument提交后Kendra会自动更新索引中的字段信息，无需额外同步。

5. 使用分面过滤搜索结果

调用Kendra的Query API时，通过FacetFilters参数指定分面字段和过滤值，示例：

query_result = kendra.query(
    IndexId='你的索引ID',
    QueryText='搜索关键词',
    FacetFilters=[
        {
            'Key': 'Category',
            'Value': '技术文档'
        }
    ]
)

也可以直接在Kendra控制台的搜索界面，用配置好的分面组件进行可视化过滤。

内容的提问来源于stack exchange，提问作者JG1