创建前检查OpenSearch索引模式是否存在？避免重复创建

使用OpenSearch 2.13 + .NET 8，需求是在创建新索引模式前判断其是否已存在，但OpenSearch允许存在同名但ID不同的多个索引模式，当前实现逻辑存在间歇性重复创建的问题。

当前实现方案 #

1. 获取指定租户的所有索引模式 #

通过/_find API拉取租户下所有索引模式：

var requestUri = utilityServices.GetUrl($"/api/saved_objects/_find?fields=title&fields=type&per_page=10000&type=index-pattern");

var headers = new Dictionary<string, string?>
{
    { "securitytenant", indexNameService.NormalizeIndexName(customerName) },
    { "osd-xsrf", "osd-fetch" }
};

2. 判断并执行创建/更新逻辑 #

遍历目标索引模式列表，检查是否存在同名模式，不存在则创建，存在则刷新字段映射：

var existingPatterns = existingIndexPattern?.saved_objects?.Select(s => (s.id, s.attributes.title, s.version)) ?? [];

foreach (var pattern in indexPatterns)
{
    var existingPattern = existingPatterns.FirstOrDefault(pair => pair.title == pattern);
    if (string.IsNullOrEmpty(existingPattern.id))
    {
        // 创建新索引模式
        var requestUri = utilityServices.GetUrl($"/api/saved_objects/index-pattern");

        var headers = new Dictionary<string, string?>
        {
            { "securitytenant", indexNameService.NormalizeIndexName(customerName) },
            { "osd-xsrf", "osd-fetch" }
        };

        var requestBody = new
        {
            attributes = new
            {
                title = indexPattern,
                timeFieldName = "version"
            },
        };
    }
    else
    {
        // 刷新现有索引模式的字段映射
        var requestUri = utilityServices.GetUrl($"/api/index_patterns/_fields_for_wildcard?pattern={indexPattern}");

        var headers = new Dictionary<string, string>
        {
            { "securitytenant", indexNameService.NormalizeIndexName(customerName) ?? "" },
            { "osd-xsrf", "osd-fetch" }
        };

        var response = await utilityServices.SendHttp<Dictionary<string, List<Field>>>(requestUri, HttpMethod.Get, headers: headers);
        var fields = response.FirstOrDefault().Value;

        // 更新现有索引模式
        var updateRequestUri = utilityServices.GetUrl($"/api/saved_objects/index-pattern/{existingPattern.id}");

        var requestBody = new IndexPatternPutRequest
        {
            Attributes = new DashboardAttributes
            {
                Title = existingPattern.title,
                TimeFieldName = "version",
                Fields = JsonSerializer.Serialize(fields)
            },
            Version = existingPattern.version,
        };

        var json = JsonSerializer.Serialize(requestBody);
        var content = new StringContent(json, Encoding.UTF8, "application/json");

        var updateResponse = await utilityServices.SendHttp<SavedObject>(updateRequestUri, HttpMethod.Put, headers: headers, content: content);
    }
}

存在的核心问题 #

当前逻辑存在竞态条件：在调用/_find获取所有索引模式，到执行创建操作的间隙，可能有其他请求/进程已经创建了同名索引模式，导致最终重复创建。

优化方案建议 #

1. 精准查询目标索引模式，避免全量遍历 #

修改/_find API的参数，直接通过q参数过滤指定title的索引模式，减少数据传输量，同时缩小查询与创建操作的时间窗口：

// 对title进行URL编码，避免特殊字符问题
var encodedPattern = Uri.EscapeDataString(pattern);
var requestUri = utilityServices.GetUrl($"/api/saved_objects/_find?fields=title&fields=type&type=index-pattern&q=title:\"{encodedPattern}\"");

这样API会直接返回与目标title匹配的索引模式，无需遍历全量数据，也降低了竞态窗口的时长。

2. 利用ID幂等性避免重复创建 #

创建索引模式时，基于title生成固定ID（比如对title进行哈希），这样如果同名模式已存在，创建请求会返回409冲突错误，避免重复：

// 基于title生成唯一ID（示例用SHA256哈希）
using var sha256 = SHA256.Create();
var hashBytes = sha256.ComputeHash(Encoding.UTF8.GetBytes(pattern));
var patternId = BitConverter.ToString(hashBytes).Replace("-", "").ToLowerInvariant();

var requestUri = utilityServices.GetUrl($"/api/saved_objects/index-pattern/{patternId}");

var requestBody = new
{
    attributes = new
    {
        title = pattern,
        timeFieldName = "version"
    },
};

try
{
    await utilityServices.SendHttp<SavedObject>(requestUri, HttpMethod.Put, headers: headers, content: content);
}
catch (HttpRequestException ex) when (ex.StatusCode == HttpStatusCode.Conflict)
{
    // 模式已存在，执行更新逻辑
    var existingPattern = await GetExistingPatternByTitle(pattern);
    await UpdateIndexPattern(existingPattern, pattern);
}

3. 添加分布式锁（多实例部署场景） #

如果服务是多实例部署，仅靠API层面的优化无法完全避免竞态，需要引入分布式锁（比如基于Redis），针对每个title加锁，确保同一时间只有一个请求处理该模式的创建/更新：

// 示例：使用Redis锁，锁键为索引模式title
var lockKey = $"index-pattern-lock:{pattern}";
using var redisLock = await redisClient.AcquireLockAsync(lockKey, TimeSpan.FromSeconds(10));

// 在锁内执行查询、创建/更新逻辑
var existingPattern = await GetExistingPatternByTitle(pattern);
if (existingPattern == null)
{
    await CreateIndexPattern(pattern);
}
else
{
    await UpdateIndexPattern(existingPattern, pattern);
}

4. 简化字段刷新逻辑 #

无需手动序列化fields，可以直接将_fields_for_wildcard返回的字段列表作为对象传递给更新请求（确认API接受的格式后调整）：

// 直接使用字段列表对象，无需序列化
var requestBody = new IndexPatternPutRequest
{
    Attributes = new DashboardAttributes
    {
        Title = existingPattern.title,
        TimeFieldName = "version",
        Fields = fields // 若API接受对象则直接传递，否则保持序列化
    },
    Version = existingPattern.version,
};

内容的提问来源于stack exchange，提问作者Waleed Manzoor