使用Langchain与HuggingFaceHub运行Python代码时无限等待问题排查

可能原因 #

• 模型与API限制：google/flan-t5-xl属于大参数模型，HuggingFace Hub免费调用额度下存在速率限制，大模型处理多问题请求时响应耗时极长，甚至会因负载过高挂起。
• Prompt与参数问题：temperature设为1e-10会强制模型输出完全确定性内容，加上Prompt未明确回答终止规则，模型可能陷入重复生成或无法判断回答结束的状态。
• 输入格式疏漏：第三个问题末尾未加换行，四个问题格式不一致，干扰模型的解析逻辑。

修正方案 #

1. 优化Prompt与输入格式 #

明确回答格式，统一输入的问题换行规范，给模型清晰的解析信号：

multi_template = """Answer each question below with a concise answer, one per line.

Questions:
{questions}

Answers:
"""

# 修正输入，每个问题末尾添加换行
qs_str = (
    "Which NFL team won the Super Bowl in the 2010 season?\n" +
    "If I am 6 ft 4 inches, how tall am I in centimeters?\n" +
    "Who was the 12th person on the moon?\n" +
    "How many eyes does a blade of grass have?\n"
)

2. 调整模型参数 #

适当提高temperature并限制输出长度，避免模型陷入死循环或无限生成：

flan_t5 = HuggingFaceHub(
    repo_id="google/flan-t5-xl",
    model_kwargs={"temperature": 0.1, "max_new_tokens": 200}
)

3. 拆分请求或换用轻量模型 #

• 若使用免费API，建议替换为更小的模型（如google/flan-t5-base），响应速度会大幅提升；
• 将多问题拆分为单个请求逐个处理，降低单次请求负载：

questions = [
    "Which NFL team won the Super Bowl in the 2010 season?",
    "If I am 6 ft 4 inches, how tall am I in centimeters?",
    "Who was the 12th person on the moon?",
    "How many eyes does a blade of grass have?"
]

for q in questions:
    print(f"Q: {q}")
    print(f"A: {llm_chain.run(q)}\n")

4. 添加超时配置 #

在HuggingFaceHub初始化时设置超时时间，避免无限等待：

flan_t5 = HuggingFaceHub(
    repo_id="google/flan-t5-xl",
    model_kwargs={"temperature": 0.1, "max_new_tokens": 200},
    timeout=300  # 设置5分钟超时
)

内容的提问来源于stack exchange，提问作者Chirag Jain