调用Pinecone index.upsert()遇TypeError: NoneType无len()问题求助

问题背景 #

从数据表提取embeddings、ids和metadata并upsert到Pinecone索引时，始终触发如下错误，已确认数据结构为元组列表且embedding为list类型，但问题未解决：

pinecone_package.indexing.index - ERROR - Error upserting vectors to index: tunl-vision, Error: object of type 'NoneType' has no len()

相关代码 #

数据处理函数 #

def process_batch(df, model, processor, tokenizer, indexer, s3_client, bucket_name):
    """
    处理一批图片：生成embeddings、upsert到Pinecone并上传至S3。
    """
    try:
        # 检查图片URL是否有效
        df['is_valid'] = df['image'].apply(check_valid_urls)
        valid_df = df[df['is_valid']]

        # 获取embeddings
        valid_df['image_embeddings'] = valid_df['image'].apply(lambda url: get_single_image_embedding(get_image(url), processor, model))
        valid_df['text_embeddings'] = valid_df['description'].apply(lambda text: get_single_text_embedding(text, tokenizer, model))

        # 将embeddings转换为列表
        for col in ['image_embeddings', 'text_embeddings']:
            valid_df[col] = valid_df[col].apply(lambda x: x[0].tolist() if isinstance(x, np.ndarray) and x.ndim > 1 else x.tolist())

        # Upsert到Pinecone
        item_ids = valid_df['id'].tolist()
        vectors = valid_df['image_embeddings'].tolist()
        metadata = valid_df.drop(columns=['id', 'is_valid', 'image_embeddings', 'text_embeddings', 'size']).to_dict(orient='records')

        data_to_upsert = list(zip(item_ids, vectors, metadata))
        indexer.upsert_vectors(data_to_upsert)

        # 预处理图片并上传至S3
        for url in valid_df['image']:
            preprocess_and_upload_image(s3_client, bucket_name, url)

        logging.info("Successfully processed batch.")
    except Exception as e:
        logging.error(f"Error processing batch: {str(e)}")

Pinecone Upsert函数 #

def upsert_vectors(self, data: List[Tuple[str, List[float], Dict]]) -> None:
    """
    将向量upsert到Pinecone索引。

    参数
    ----------
    data : List[Tuple[str, List[float], Dict]]
        元组列表，每个元组包含项目ID、向量和元数据字典。

    异常
    ------
    Exception
        若upsert向量时出现错误则抛出。
    """
    try:
        # 打印前5个数据点
        self.logger.info(f'First 5 data points: {data[:5]}')

        # 检查数据是否为元组列表
        if not all(isinstance(i, tuple) and len(i) == 3 for i in data):
            self.logger.error(f'Data is not in correct format: {data}')
            return

        # 检查所有ID、向量和元数据是否非空
        for item_id, vector, meta in data:
            if not item_id or not vector or not meta:
                self.logger.error(f'Found empty or None data: ID={item_id}, Vector={vector}, Meta={meta}')
                return

        upsert_result = self.index.upsert(vectors=data)
        self.logger.info(
            f'Successfully upserted {len(upsert_result.upserted_ids)} vectors to index: {self.index_name}')
    except Exception as e:
        self.logger.error(f'Error upserting vectors to index: {self.index_name}, Error: {str(e)}')

问题根源 #

报错指向NoneType没有len()，说明部分embedding向量为None。即使URL校验通过，get_single_image_embedding仍可能因图片加载失败、模型推理错误等情况返回None，后续转换列表时会将None传入upsert流程，触发长度校验异常。

修复步骤 #

1. 过滤无效embedding行
   在转换embedding为列表后，添加过滤逻辑，移除embedding为空或None的行：

# 将embeddings转换为列表后添加：
valid_df = valid_df.dropna(subset=['image_embeddings'])
# 额外检查向量是否为空列表
valid_df = valid_df[valid_df['image_embeddings'].apply(lambda x: len(x) > 0 if isinstance(x, list) else False)]

2. 强化向量校验逻辑
   在upsert函数的检查步骤中，补充向量类型和长度的校验：

# 修改原有检查逻辑
for item_id, vector, meta in data:
    if (not item_id) or (not isinstance(vector, list) or len(vector) == 0) or (not meta):
        self.logger.error(f'Invalid data: ID={item_id}, Vector={vector}, Meta={meta}')
        return

3. 排查embedding生成函数
   检查get_single_image_embedding和get_single_text_embedding的实现，确保在异常场景下返回明确的错误标识（而非None），并添加日志记录失败的请求：

# 示例修改get_single_image_embedding
def get_single_image_embedding(image, processor, model):
    try:
        # 原有生成逻辑
        inputs = processor(images=image, return_tensors="pt")
        outputs = model(**inputs)
        return outputs.last_hidden_state.mean(dim=1)
    except Exception as e:
        logging.error(f'Failed to generate embedding: {str(e)}')
        return None

验证 #

修改后重新运行，观察日志是否还有无效数据报错，若有则根据日志定位具体失败的行，进一步优化数据处理逻辑。

内容的提问来源于stack exchange，提问作者Antwoine Flowers