Redis Search索引向量查询正常但读取后损坏问题求助

我用Redis Search搭建缓存，为512元素的float32向量创建了HNSW索引，索引定义如下：

schema = (
    VectorField(
        "vector",
        "HNSW",
        {
            "TYPE": "FLOAT32",
            "DIM": 512,
            "DISTANCE_METRIC": "IP",
            "EF_RUNTIME": 400,
            "EPSILON": 0.4
        },
        as_name="vector"
    ),
)

definition = IndexDefinition(prefix=[REDIS_PREFIX], index_type=IndexType.HASH)
res = client.ft(REDIS_INDEX_NAME).create_index(
    fields=schema, definition=definition
)

我通过写入vector.tobytes()的结果，将numpy float32向量插入索引，且能通过向量相似度搜索准确查询这些向量。但使用client.hget(key, "vector")从缓存读取向量时，得到的字节数不固定，有时甚至不是4的倍数，无法解码回numpy向量。

补充信息 #

补充1 #

损坏的记录实际上不在索引中，我通过以下命令检查记录是否在索引中：

client.ft(REDIS_INDEX_NAME).execute_command("FT.SEARCH", REDIS_INDEX_NAME, "*", f"INKEYS", "1", key)

不在索引中的记录会返回空值。曾怀疑是旧代码写入了损坏记录，但已修复。

补充2 #

损坏记录按插入时间均匀分布，因此排除旧代码问题。

问题原因分析 #

1. 并发写入冲突：多进程/线程同时对同一个key的vector字段执行写入操作，导致字节流被截断或部分覆盖，生成不完整的字节数据。
2. 写入过程异常：vector.tobytes()生成字节流时出现上下文异常（如numpy数组被意外修改），或网络传输过程中出现丢包，导致Redis接收到不完整的字节数据。
3. 哈希与索引同步问题：直接操作哈希写入向量时，若写入的字节数据不符合索引定义的格式，Redis Search会跳过该记录的索引，同时哈希中留存损坏的字节数据。

解决方案 #

• 写入前校验字节长度：512维float32向量的标准字节长度应为512*4=2048字节，写入前必须验证len(vector.tobytes()) == 2048，不符合则终止写入并抛出异常。
• 原子写入+事后校验：使用Redis的HSET原子操作写入向量，写入完成后立即读取vector字段验证字节长度，若不符合则删除该key或重新写入。
• 控制并发写入：如果是多实例/线程写入场景，给目标key加分布式锁，确保同一时间只有一个写入操作执行。
• 使用索引层API写入：替换直接操作哈希的方式，改用Redis Search的ft.add方法写入数据，让索引层统一处理向量的存储与同步，避免哈希字段与索引的不一致。
• 监控与日志：对所有写入操作记录key、向量字节长度、时间戳，出现异常时快速定位问题触发场景。
• 清理损坏记录：遍历所有匹配前缀的key，检查vector字段的字节长度，不符合标准的直接删除，避免无效数据留存。

内容的提问来源于stack exchange，提问作者magnanimousllamacopter