生成器始终返回相同值：逐行读文件的生成器调用异常排查

问题根源 #

每次调用tokenize_each_line()都会生成一个全新的生成器实例，每次都会重新打开文件并从头读取，所以每次next()拿到的都是文件第一行的结果。

正确用法 #

你需要先将生成器实例保存到变量中，之后对同一个实例调用next()，才能依次获取后续行：

# 先创建生成器实例并保存
line_generator = tokenize_each_line("你的文件路径.txt")
# 逐次调用next获取各行
print(next(line_generator))  # 第一行的单词列表
print(next(line_generator))  # 第二行的单词列表
print(next(line_generator))  # 第三行的单词列表

如果要遍历所有行，用for循环更安全（无需手动处理StopIteration异常）：

line_generator = tokenize_each_line("你的文件路径.txt")
for tokens in line_generator:
    print(tokens)

内容的提问来源于stack exchange，提问作者heresthebuzz