You need to enable JavaScript to run this app. Keras完成文本分词后调用pad_sequences触发int转换报错的问题排查
优惠活动
大模型
产品
解决方案
定价
更多

Keras完成文本分词后调用pad_sequences触发int转换报错的问题排查

报错根因定位

你遇到的类型转换错误,和遍历排查找不到非整数元素的核心矛盾在于:传给pad_sequences的输入不是存储整数序列的单列结构,而是完整的pandas DataFrame对象。
报错信息里出现的字符串'content'是DataFrame的列名,根本不是文本序列内部的元素,所以你钻到content列的内部去遍历检查非整数的逻辑,完全覆盖不到这个异常值,自然没有任何输出。

错误触发逻辑

Keras的pad_sequences处理输入时,会把传入的可迭代结构逐层拉平,尝试把所有元素转成指定的int32类型。当传入的是完整DataFrame时,第一层迭代拿到的是DataFrame的列名列表(也就是['content']),它会尝试把列名字符串'content'转成整数,直接抛出invalid literal for int() with base 10: 'content'错误。
这个报错点刚好是你排查逻辑的盲区:

  • 异常值'content'在DataFrame的列名层级,不在content列存储的逐行文本序列内部
  • 你写的遍历代码是深入到X_test['content']的每一行、每一个序列元素做类型检查,完全没触达列名层级的异常值,自然查不到问题

10秒快速验证

执行下面的代码,直接核对pad_sequences实际接收的输入结构:

# 打印X_train的类型,以及前3个顶层迭代元素
print("X_train的实际类型:", type(X_train))
for idx, item in enumerate(X_train):
    print(f"第{idx}个顶层元素:类型为{type(item)}, 值为{item}")
    if idx >=2:
        break

如果输出匹配以下结果,就可以100%确认是传入了整个DataFrame的问题:

  • X_train的类型是<class 'pandas.core.frame.DataFrame'>
  • 第一个顶层迭代元素是字符串'content'

修正方法

  • 数据集拆分阶段,提前把存储分词后整数序列的content列单独抽成特征输入,不要把整个DataFrame直接传给序列处理函数:
    # 正确拆分逻辑:单独取content列作为特征,目标标签列作为预测标签
    X = tweets_df['content']
    y = tweets_df['分类标签列名']
    X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)
    # 此时X_train是存储整数序列的Series,可以直接传给pad_sequences
    X_train_padded = tf.keras.preprocessing.sequence.pad_sequences(
        X_train,
        maxlen=MAX_LENGTH,
        dtype='int32',
        padding='post',
        truncating='post'
    )
    
  • 如果拆分时已经不小心传入了整个DataFrame,在调用pad_sequences之前单独取出content列即可修正:
    # 错误传入整个DataFrame后的快速修正
    X_train_seq = X_train['content']
    X_train_padded = tf.keras.preprocessing.sequence.pad_sequences(X_train_seq)
    

后续排查提示

Keras所有序列处理函数要求的输入是嵌套整数的集合(比如列表套列表、装整数列表的一维Series、二维整数数组),不支持直接传入带列名的表格结构。后续排查同类问题时,不要只检查列内部的元素,先确认输入对象本身的结构是否符合函数要求。


内容的提问来源于stack exchange,提问作者omri

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.16 11:54:08