如何通过Terraform配置OpenSearch无服务器集群类型及自动化数据导入

一、Terraform配置集群类型 #

在Terraform的aws_opensearchserverless_collection资源中，通过type参数即可指定集群类型，对应关系如下：

• 时序型：time_series
• 搜索型：search
• 向量搜索型：vectorsearch

示例代码：

# 时序型集群
resource "aws_opensearchserverless_collection" "time_series" {
  name = "my_time_series_collection"
  type = "time_series"
  
  # 可选配置：添加描述和标签
  description = "用于时序数据存储与分析的集群"
  tags = {
    Environment = "Production"
  }
}

# 搜索型集群
resource "aws_opensearchserverless_collection" "search" {
  name = "my_search_collection"
  type = "search"
}

# 向量搜索型集群
resource "aws_opensearchserverless_collection" "vector_search" {
  name = "my_vector_search_collection"
  type = "vectorsearch"
}

二、自动化数据导入方案 #

存在这样的自动化方案，可通过事件驱动架构实现端到端的向量嵌入生成与推送，核心流程如下：

• 触发机制：给目标S3桶配置事件通知，当新文件上传（如CSV、JSON格式的文本数据）时，自动触发Lambda函数
• 向量生成：Lambda函数读取S3中的数据，调用Bedrock提供的嵌入模型（如Amazon Titan Embeddings、Cohere Embeddings），或调用SageMaker中部署的自定义嵌入模型，将文本转换为向量嵌入
• 数据写入：Lambda将生成的向量数据（搭配原始数据的元信息）通过OpenSearch无服务器的REST API写入预先创建好的向量索引

需要注意的权限配置：

• 给Lambda角色分配S3读取权限、Bedrock/SageMaker调用权限、OpenSearch无服务器的写入权限
• 给OpenSearch无服务器集群配置访问策略，允许Lambda角色的访问

内容的提问来源于stack exchange，提问作者kishi