SentenceTransformers编码嵌入校验和不一致的问题求助

问题背景 #

使用SentenceTransformers的M-CLIP/M-BERT-Distil-40模型计算文本嵌入时，每次重启Jupyter Notebook运行代码，嵌入值总和（校验和）都会出现差异。即使设置了全库随机种子、开启PyTorch确定性模式、强制CPU运行，问题仍未解决。

原始核心代码：

RANDOM_SEED = 42
np.random.seed(RANDOM_SEED)
random.seed(RANDOM_SEED)
tf.random.set_seed(RANDOM_SEED)
torch.manual_seed(RANDOM_SEED)

transformer_models = ['M-CLIP/M-BERT-Distil-40']
sentences = df['content'].tolist()

for transformer_model in tqdm(transformer_models, desc="Transformer Models"):
    tqdm.write(f"Processing with Transformer Model: {transformer_model}")
    model = SentenceTransformer(transformer_model)
    embeddings = model.encode(sentences)
    print(f"Embeddings Checksum for {transformer_model}:", np.sum(embeddings))

输出波动示例：

Embeddings Checksum for M-CLIP/M-BERT-Distil-40: 1105.9185

Embeddings Checksum for M-CLIP/M-BERT-Distil-40: 1113.5422

用户后续尝试的优化代码（仍无效）：

import torch
import numpy as np
import random
import tensorflow as tf
from sentence_transformers import SentenceTransformer
from tqdm.auto import tqdm

RANDOM_SEED = 42

# 设置随机种子
np.random.seed(RANDOM_SEED)
random.seed(RANDOM_SEED)
tf.random.set_seed(RANDOM_SEED)
torch.manual_seed(RANDOM_SEED)

# 开启PyTorch确定性
torch.backends.cudnn.deterministic = True
torch.backends.cudnn.benchmark = False

transformer_models = ['M-CLIP/M-BERT-Distil-40']
sentences = df['content'].tolist()

for transformer_model in tqdm(transformer_models, desc="Transformer Models"):
    # 加载模型前重新设置种子
    np.random.seed(RANDOM_SEED)
    random.seed(RANDOM_SEED)
    tf.random.set_seed(RANDOM_SEED)
    torch.manual_seed(RANDOM_SEED)

    tqdm.write(f"Processing with Transformer Model: {transformer_model}")
    model = SentenceTransformer(transformer_model, device='cpu')  # 强制使用CPU

    embeddings = model.encode(sentences, show_progress_bar=False)  # 关闭进度条和并行分词
    print(f"Embeddings Checksum for {transformer_model}:", np.sum(embeddings))

核心原因 #

1. 模型固有非确定性：部分CLIP衍生模型的底层实现包含硬件或库级别的非确定性优化，比如某些层的浮点运算逻辑，仅靠种子无法完全消除波动。
2. encode方法的并行机制：encode默认开启多线程分词/推理，即使关闭进度条，线程调度的随机性仍会引入微小数值差异，累加后导致总和变化。
3. PyTorch全局状态残留：模型加载时的部分底层初始化操作可能未严格遵循种子约束，尤其是自定义层或依赖第三方库的情况。

解决办法 #

1. 彻底禁用并行处理 #

在encode中明确设置单批次、禁用多进程和多线程：

embeddings = model.encode(
    sentences,
    show_progress_bar=False,
    batch_size=1,
    use_multiprocessing=False,
    num_workers=0
)

2. 锁定模型推理模式 #

加载模型后强制切换到评估模式，并禁用梯度计算，避免不必要的计算波动：

model = SentenceTransformer(transformer_model, device='cpu')
model.eval()
with torch.no_grad():
    embeddings = model.encode(
        sentences,
        show_progress_bar=False,
        batch_size=1,
        use_multiprocessing=False,
        num_workers=0
    )

3. 添加环境变量约束 #

在代码最顶部设置环境变量，强制Python和PyTorch使用完全确定性操作：

import os
os.environ['PYTHONHASHSEED'] = str(RANDOM_SEED)
os.environ['CUBLAS_WORKSPACE_CONFIG'] = ':4096:8'  # 禁用CuBLAS非确定性优化（CPU环境也生效）

4. 验证模型权重一致性 #

每次加载模型后检查权重哈希，确认模型本身没有随机初始化问题：

import hashlib

def get_weights_hash(model):
    weight_bytes = []
    for param in model.parameters():
        weight_bytes.append(param.data.cpu().numpy().tobytes())
    return hashlib.md5(b''.join(weight_bytes)).hexdigest()

model = SentenceTransformer(transformer_model, device='cpu')
print(f"模型权重哈希: {get_weights_hash(model)}")

如果哈希值一致，说明问题出在推理阶段；如果不一致，需重新下载模型或清理缓存。

总结 #

若上述方法仍无法完全消除差异，大概率是模型底层实现的固有非确定性导致。这种情况下，只要嵌入的语义一致性（如余弦相似度）稳定，微小数值波动可忽略；若要求绝对一致，预计算嵌入并保存到文件是最可靠的方案，这也是你目前验证有效的方法。

内容的提问来源于stack exchange，提问作者tumbleweed