Python多问题遍历文本文件执行HuggingFace问答时仅首个问题有输出的问题
核心错误定位
- 最关键的逻辑问题:文件对象的读取指针不会自动复位
你用f = open("glad.txt", "r")打开文件后,第一次遍历完所有行时,指针已经停在文件末尾,后续两个问题的循环中执行for line in f时,没有任何内容可以读取,自然不会有输出。 - 冗余嵌套循环:
for _ in range(len(question))完全多余,会导致同一个问题下无意义重复尝试遍历文件行,还会放大文件指针不复位的问题。 - 文本处理错误:
text = str(line.split("."))会把拆分后的列表直接转成字符串,得到类似['xxx', 'yyy']的格式,既不是可用于推理的正常上下文文本,也导致输出内容格式异常。
修正方案
- 优先将文件内容一次性读入内存,避免反复操作文件对象导致的指针问题。
- 删掉冗余的问题长度循环。
- 修正文本处理逻辑,保留可用于推理的正常上下文内容。
修正后的核心代码片段
from transformers import AutoTokenizer, AutoModelForQuestionAnswering import torch max_seq_length = 512 tokenizer = AutoTokenizer.from_pretrained("henryk/bert-base-multilingual-cased-finetuned-dutch-squad2") model = AutoModelForQuestionAnswering.from_pretrained("henryk/bert-base-multilingual-cased-finetuned-dutch-squad2") # 一次性读取所有有效行到内存,彻底避免文件指针问题 with open("glad.txt", "r") as f: all_contexts = [line.strip() for line in f if line.strip()] questions = [ "Welke soorten gladiatoren waren er?", "Wat is een provocator?", "Wat voor helm droeg een retiarius?", ] for question in questions: print(f"Question: {question}") # 每个问题遍历所有上下文行 for context in all_contexts: inputs = tokenizer.encode_plus( question, context, add_special_tokens=True, max_length=100, truncation=True, return_tensors="pt" ) input_ids = inputs["input_ids"].tolist()[0] answer_start_scores, answer_end_scores = model(**inputs, return_dict=False) answer_start = torch.argmax(answer_start_scores) answer_end = torch.argmax(answer_end_scores) + 1 answer = tokenizer.convert_tokens_to_string( tokenizer.convert_ids_to_tokens(input_ids[answer_start:answer_end]) ) # 跳过无有效答案的情况 if answer in ["[CLS]", ""]: continue print(f"Context: {context}") print(f"Answer: {answer}\n")
其他注意事项
- 代码里定义了
max_seq_length = 512,但tokenizer实际传入的是max_length=100,需要统一参数,避免长文本被不符合预期的截断。 - 如果一定要复用原文件对象而非一次性读入内容,可以在每次遍历问题前执行
f.seek(0),将指针重置到文件开头,但一次性读入的写法稳定性更高。
内容的提问来源于stack exchange,提问作者Liza Darwesh
相关产品推荐
相关产品推荐

