如何将GCP Datastore现有索引转换为标准index.yaml供Terraform使用

直接使用gcloud datastore indexes list的原始输出对接Terraform一定会产生配置冲突，无法直接使用。

冲突原因 #

gcloud datastore indexes list输出的是Datastore服务端存储的索引运行态元数据，并非用于配置下发的标准index.yaml格式，存在两类不兼容问题：

• 存在非用户可配置的服务端生成字段：输出里的indexId、projectId、state都是GCP侧在索引创建完成后自动注入的运维属性，不属于标准索引配置的合法字段。其中indexId是老实例里索引的唯一标识，新Datastore实例不存在对应ID，强行携带该字段会触发Terraform schema校验报错，或是出现资源匹配失败的问题。
• 字段取值规则不匹配：
  • 服务端返回的ancestor: NONE对应标准配置的ancestor: no，实体组索引返回的ancestor: ALL_ANCESTORS对应标准配置的ancestor: yes
  • 服务端返回的排序方向ASCENDING/DESCENDING对应标准配置的asc/desc，直接传入大写值会被配置校验拦截。

处理方案 #

目前GCP没有提供直接导出标准index.yaml格式的官方命令，也不需要从零实现复杂的转换逻辑，只需要对list命令的输出做轻量处理即可，转换逻辑固定：

1. 将命令输出按YAML多文档分隔符---拆分，逐块过滤掉indexId、projectId、state三个非配置字段
2. 统一替换字段值：

• 把ancestor: NONE替换为ancestor: no，ancestor: ALL_ANCESTORS替换为ancestor: yes
• 把所有direction: ASCENDING替换为direction: asc，direction: DESCENDING替换为direction: desc

3. 将所有处理完成的索引块归集到根级indexes:数组下，就是完全符合规范的index.yaml文件，可直接供Terraform的Datastore索引资源或是gcloud datastore indexes create命令使用。

针对你给出的原始输出示例，转换完成后的合法配置如下：

indexes:
- kind: Session
  ancestor: no
  properties:
  - name: identityId
    direction: asc
  - name: endTime
    direction: asc

- kind: Feedback
  ancestor: no
  properties:
  - name: id
    direction: asc
  - name: entity
    direction: asc
  - name: value
    direction: asc
  - name: submitter
    direction: asc
  - name: createdOn
    direction: asc
  - name: updatedOn
    direction: asc

补充说明：Datastore自动为单字段创建的内置索引不需要写入配置文件，仅需要保留自定义复合索引即可，你提供的两段输出均为复合索引，按上述逻辑转换后可直接使用。

内容的提问来源于stack exchange，提问作者Shinto C V