遍历DataFrame转换Token ID时陷入无限循环问题求助

核心原因分析 #

• 重复加载Tokenizer引发性能雪崩：你在循环内部每次都执行BertTokenizer.from_pretrained("bert-base-cased")，这意味着每处理一行就要重新加载一次BERT分词器的模型文件、词汇表等资源。6万多行的循环会重复执行6万次加载操作，消耗巨量IO与内存，直接导致程序长时间无响应，看起来像是“挂起”或无限循环。
• 低效的逐行遍历方式：用range(len(data_enum))结合iat逐行操作DataFrame本身就违背了pandas的向量化设计初衷，这种方式的执行效率比批量操作低几个数量级，进一步放大了性能问题。
• 可能的判断逻辑错误：你写的if [data_enum.iat[i, 3]] in app_list是把当前列值包装成列表后再判断是否存在于app_list中。如果app_list存储的是单个字符串（比如["app1", "app2"]），这个条件永远不会成立，循环内的代码根本不会执行；如果app_list是包含列表的集合，这种判断的时间复杂度为O(n)，6万次循环会进一步拖慢速度。

优化后的代码示例 #

from transformers import BertTokenizer
import pandas as pd

# 1. 提前加载分词器，仅执行一次
tz = BertTokenizer.from_pretrained("bert-base-cased")

# 2. 将app_list转为集合，大幅提升判断效率（适用于app_list存储单个字符串的场景）
app_set = set(app_list)

# 3. 定义批量处理函数
def convert_to_token_ids(text):
    if text in app_set:  # 修正判断逻辑，移除多余的列表包装
        tokens = tz.tokenize(text)
        return tz.convert_tokens_to_ids(tokens)
    return text  # 不满足条件则返回原内容

# 4. 用apply批量处理列，替代逐行循环
data_enum.iloc[:, 3] = data_enum.iloc[:, 3].apply(convert_to_token_ids)

额外说明 #

• 如果app_list确实存储的是列表元素（比如[["app1"], ["app2"]]），可将判断逻辑改为[text] in app_list，同时建议把app_list转为集合：app_set = set(tuple(item) for item in app_list)，因为集合的in操作是O(1)，远快于列表的O(n)。
• 处理后的列会包含列表类型的值，若后续需要方便操作，可考虑将其转为字符串格式，或拆分成多列，具体取决于业务需求。

内容的提问来源于stack exchange，提问作者Ilia