同类型数据集编码格式差异致Tensor转换失败，求统一格式方案

你的问题核心是fast_encode处理部分数据集时，返回的是元素为列表的一维object类型数组，而非预期的二维int64数组，导致无法转成Tensor。常见原因及解决方法如下：

一、排查根本原因 #

先确认两个关键点：

1. 输入文本是否合规：检查train_sentences['line']中是否存在空值、非字符串类型（比如None、数字）的元素，这类内容会导致tokenizer编码异常。
2. 编码后序列长度是否一致：取少量样本测试编码结果的长度：

sample_texts = train_sentences['line'].head(5).tolist()
# 明确指定编码参数，避免外部设置干扰
encs = fast_tokenizer.encode_batch(
    sample_texts,
    truncation=True,
    padding='max_length',
    max_length=128
)
for idx, enc in enumerate(encs):
    print(f"样本{idx+1}编码长度：{len(enc.ids)}")

如果输出不全是128，说明tokenizer的截断/填充规则没生效；如果都是128，问题出在numpy数组转换环节。

二、针对性修复方案 #

方案1：修改fast_encode函数，强制保证输出格式 #

直接在函数中明确编码参数，并强制指定numpy数组的 dtype，避免自动推断为object：

import numpy as np
import pandas as pd

def fast_encode(texts, tokenizer, chunk_size=256, maxlen=128):
    # 预处理：将所有输入转为字符串，处理空值/None
    processed_texts = []
    for t in texts:
        if t is None or pd.isna(t):
            processed_texts.append("")
        else:
            processed_texts.append(str(t))
    
    all_ids = []
    for i in range(0, len(processed_texts), chunk_size):
        text_chunk = processed_texts[i:i+chunk_size]
        # 编码时明确指定截断、填充规则，不依赖全局设置
        encs = tokenizer.encode_batch(
            text_chunk,
            truncation=True,
            padding='max_length',
            max_length=maxlen
        )
        all_ids.extend([enc.ids for enc in encs])
    
    # 强制转换为int64类型的二维数组
    return np.array(all_ids, dtype=np.int64)

方案2：修复现有数组（临时应急） #

如果不想修改函数，可以对生成的x_train1做后处理：

# 将object类型数组转为二维int64数组
x_train1 = np.array([np.array(seq, dtype=np.int64) for seq in x_train1], dtype=np.int64)
# 验证形状：应该是(241138, 128)
print(x_train1.shape, x_train1.dtype)

三、关键注意事项 #

• 避免依赖tokenizer的全局enable_truncation/enable_padding设置，因为这些设置可能被其他代码修改，导致编码规则不一致；
• 必须处理输入文本中的异常值（空值、非字符串），否则编码后的序列长度可能出现差异，numpy会自动转为object类型数组。

内容的提问来源于stack exchange，提问作者Justin Beaver