如何在HuggingFace pipeline中抑制“Batches”进度提示信息？

SentenceTransformer 抑制进度条方法 #

• 初始化模型时，直接添加show_progress_bar=False参数：

  from sentence_transformers import SentenceTransformer
  model = SentenceTransformer('你的模型名称', show_progress_bar=False)
  

• 若已初始化模型，调用encode方法时单独传入该参数覆盖默认设置：

  embeddings = model.encode(待编码文本列表, show_progress_bar=False)
  

Transformers 文本生成Pipeline抑制进度条方法 #

• 创建生成pipeline时，设置progress_bar=False参数：

  from transformers import pipeline
  generator = pipeline('text-generation', model='你的模型名称', progress_bar=False)
  

• 若直接调用模型的generate方法，可通过两种方式抑制：
  1. 设置logging_level为ERROR屏蔽进度相关日志：

     from transformers import AutoModelForCausalLM, AutoTokenizer
     tokenizer = AutoTokenizer.from_pretrained('你的模型名称')
     model = AutoModelForCausalLM.from_pretrained('你的模型名称')
     
     inputs = tokenizer("输入文本", return_tensors="pt")
     outputs = model.generate(**inputs, logging_level="ERROR")
     

  2. 全局禁用tqdm（会影响所有依赖tqdm的进度条，谨慎使用）：

     import tqdm
     tqdm.tqdm = lambda x, **kwargs: x
     

优先使用各库自带的参数控制进度条，全局禁用仅作为备选方案。

内容的提问来源于stack exchange，提问作者Clovis