Google Cloud Vertex AI向量搜索嵌入尺寸不匹配问题求助

错误信息 #

400 There are invalid records in the input file. Embedding size mismatch: expected 768, but got 1

问题成因 #

• 输入文件存在无效向量记录：报错的文件里，部分条目没有生成正确的768维嵌入，反而出现了长度为1的无效值——大概率是嵌入生成过程出错，返回了错误码、空值或者单个标量值。
• 文件格式不符合要求：Vertex AI要求输入的嵌入文件（一般是JSONL格式）每个条目必须包含embedding字段，且该字段是长度为指定维度的数值数组。如果部分文件里的embedding字段缺失、格式错误（比如是字符串而非数组），会被系统识别为长度1的无效数据。
• approximate_neighbors_count参数不相关：这个参数是控制索引返回的近似邻居数量的，和嵌入维度的校验逻辑完全没关系，改它解决不了维度不匹配的问题。

修复方法 #

1. 批量校验输入文件的嵌入格式
   写个简单脚本遍历报错文件，找出问题条目：

   import json
   
   def check_embedding_file(file_path, expected_dim=768):
       with open(file_path, 'r') as f:
           for line_num, line in enumerate(f, 1):
               try:
                   data = json.loads(line)
                   emb = data.get('embedding')
                   if not isinstance(emb, list) or len(emb) != expected_dim:
                       print(f"第{line_num}行出错：嵌入维度是{len(emb) if emb else '缺失'}，预期{expected_dim}")
               except json.JSONDecodeError:
                   print(f"第{line_num}行出错：JSON格式无效")
   
   # 替换成你的报错文件路径
   check_embedding_file('problem-file.jsonl')
   

2. 修复无效记录

   • 对脚本找出的无效嵌入，重新调用嵌入模型生成标准的768维向量。
   • 如果是JSON格式错误（比如括号不匹配、逗号错误），直接修正对应的行即可。

3. 重新创建索引
   确保所有报错文件都修复完成后，重新运行你之前的索引创建代码（保持dimensions=768参数不变，无需调整approximate_neighbors_count）。

内容的提问来源于stack exchange，提问作者Rob