Python生成器异常行为问题及相关技术咨询

我创建了如下生成器：

from textacy.extract.kwic import keyword_in_context
test = keyword_in_context('this is a test. another test to see how', keyword='test', window_width=5)
print(test)

# Out: <generator object keyword_in_context at 0x000001C21D033F20>

但当我尝试迭代生成器test时，未达到预期效果：仅输出了test中的最后一项：

for i in test:
    print(next(test))

# Out: ('ther ', 'test', ' to s')

然而，直接迭代该生成器却能正常运行：

for i in keyword_in_context('this is a test. another test see how', keyword='test', window_width=5):
    print(i)

# Out:
# ('is a ', 'test', '. ano')
# ('ther ', 'test', ' see ')

问题解答 #

1. 为何第一个for循环无法正常工作？
   for循环本身会自动调用生成器的next()方法迭代元素，每次循环的i已经拿到了当前迭代的元素。但你在循环里又手动调用next(test)，相当于一次循环取了两个元素：第一个给了i但没处理，第二个被你打印出来。你的生成器总共只有两个元素，所以第一次循环跳过第一个、打印第二个后就结束了，自然只看到最后一项。

2. 为何不能使用items()或iteritems()？
   items()/iteritems()是字典这类键值对容器特有的方法，用来获取键值对迭代器。而生成器是单元素迭代器，结构里没有键值对，本身就不是键值映射类型的对象，所以根本没有这些属性，调用就会触发AttributeError。

3. 提取该生成器所有元素的最佳方式是什么？
   生成器只能被迭代一次，提取所有元素最常用的两种方式：

• 直接转成列表：all_items = list(test)，一次性把生成器所有元素加载到内存，之后可随意访问列表元素。
• 列表推导式：all_items = [item for item in test]，效果和转列表一致，适合需要同时做简单处理的场景。
  如果元素数量极大，不建议一次性提取（会占用大量内存），还是用for循环逐个处理更稳妥。

内容的提问来源于stack exchange，提问作者Nemo