You need to enable JavaScript to run this app. Python多问题遍历文本文件执行HuggingFace问答时仅首个问题有输出的问题
优惠活动
大模型
产品
解决方案
定价
更多

Python多问题遍历文本文件执行HuggingFace问答时仅首个问题有输出的问题

核心错误定位
  • 最关键的逻辑问题:文件对象的读取指针不会自动复位
    你用f = open("glad.txt", "r")打开文件后,第一次遍历完所有行时,指针已经停在文件末尾,后续两个问题的循环中执行for line in f时,没有任何内容可以读取,自然不会有输出。
  • 冗余嵌套循环:for _ in range(len(question))完全多余,会导致同一个问题下无意义重复尝试遍历文件行,还会放大文件指针不复位的问题。
  • 文本处理错误:text = str(line.split("."))会把拆分后的列表直接转成字符串,得到类似['xxx', 'yyy']的格式,既不是可用于推理的正常上下文文本,也导致输出内容格式异常。
修正方案
  1. 优先将文件内容一次性读入内存,避免反复操作文件对象导致的指针问题。
  2. 删掉冗余的问题长度循环。
  3. 修正文本处理逻辑,保留可用于推理的正常上下文内容。

修正后的核心代码片段

from transformers import AutoTokenizer, AutoModelForQuestionAnswering
import torch

max_seq_length = 512
tokenizer = AutoTokenizer.from_pretrained("henryk/bert-base-multilingual-cased-finetuned-dutch-squad2")
model = AutoModelForQuestionAnswering.from_pretrained("henryk/bert-base-multilingual-cased-finetuned-dutch-squad2")

# 一次性读取所有有效行到内存,彻底避免文件指针问题
with open("glad.txt", "r") as f:
    all_contexts = [line.strip() for line in f if line.strip()]

questions = [
    "Welke soorten gladiatoren waren er?",
    "Wat is een provocator?",
    "Wat voor helm droeg een retiarius?",
]

for question in questions:
    print(f"Question: {question}")
    # 每个问题遍历所有上下文行
    for context in all_contexts:
        inputs = tokenizer.encode_plus(
            question,
            context,
            add_special_tokens=True,
            max_length=100,
            truncation=True,
            return_tensors="pt"
        )
        input_ids = inputs["input_ids"].tolist()[0]
        
        answer_start_scores, answer_end_scores = model(**inputs, return_dict=False)
        answer_start = torch.argmax(answer_start_scores)
        answer_end = torch.argmax(answer_end_scores) + 1
        
        answer = tokenizer.convert_tokens_to_string(
            tokenizer.convert_ids_to_tokens(input_ids[answer_start:answer_end])
        )
        
        # 跳过无有效答案的情况
        if answer in ["[CLS]", ""]:
            continue
        print(f"Context: {context}")
        print(f"Answer: {answer}\n")
其他注意事项
  • 代码里定义了max_seq_length = 512,但tokenizer实际传入的是max_length=100,需要统一参数,避免长文本被不符合预期的截断。
  • 如果一定要复用原文件对象而非一次性读入内容,可以在每次遍历问题前执行f.seek(0),将指针重置到文件开头,但一次性读入的写法稳定性更高。

内容的提问来源于stack exchange,提问作者Liza Darwesh

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.12 20:45:04