如何在自定义HuggingFace服务器部署运行自定义视频模型？

场景与问题说明 #

正在将自定义视频模型部署到自有服务器，模型依赖多模块配置文件与权重，目录结构如下：

/model_directory
├── encoder
│   ├── config.json
│   └── pytorch_model.safetensors
├── controlnet
│   ├── config.json
│   └── pytorch_model.safetensors
└── attention
    └── attention.ckpt

目前使用HuggingFace相关库加载模型时，出现错误：

OSError: /repository does not appear to have a file named config.json. Checkout 'https://huggingface.co//repository/None' for available files.

1. 正确加载模型及配置文件 #

由于模型采用分模块结构，需针对每个子模块单独加载，而非直接从根目录读取：

加载Encoder模块 #

from transformers import AutoConfig, AutoModel

# 加载encoder的配置文件
encoder_config = AutoConfig.from_pretrained("/model_directory/encoder")
# 加载encoder权重（指定safetensors格式）
encoder_model = AutoModel.from_pretrained(
    "/model_directory/encoder",
    config=encoder_config,
    safetensors=True
)

加载ControlNet模块 #

若使用Diffusers库，可直接用ControlNetModel加载：

from diffusers import ControlNetModel

controlnet = ControlNetModel.from_pretrained(
    "/model_directory/controlnet",
    safetensors=True
)

加载Attention模块 #

针对.ckpt格式权重，用PyTorch直接加载后映射到自定义模型：

import torch
# 导入你自定义的Attention类
from your_custom_module import CustomAttention

# 加载权重文件
attention_weights = torch.load("/model_directory/attention/attention.ckpt", map_location="cpu")
# 初始化模型并加载权重
attention_model = CustomAttention()
attention_model.load_state_dict(attention_weights)

2. 搭建模型推理Pipeline #

将各模块整合为自定义推理Pipeline，示例如下：

import torch

class CustomVideoInferencePipeline:
    def __init__(self, encoder, controlnet, attention_model):
        self.device = "cuda" if torch.cuda.is_available() else "cpu"
        self.encoder = encoder.to(self.device).eval()
        self.controlnet = controlnet.to(self.device).eval()
        self.attention_model = attention_model.to(self.device).eval()

    def run_inference(self, input_frames, control_condition):
        # 预处理输入（需根据你的模型要求调整）
        input_frames = input_frames.to(self.device)
        control_condition = control_condition.to(self.device)

        with torch.no_grad():
            # 1. 编码输入视频帧
            frame_embeddings = self.encoder(input_frames)
            # 2. ControlNet处理控制条件
            control_output = self.controlnet(
                control_condition,
                encoder_hidden_states=frame_embeddings.last_hidden_state
            )
            # 3. 自定义注意力模块处理
            final_embeddings = self.attention_model(control_output.hidden_states[-1])
            # 4. 后续推理逻辑（如视频帧解码，需替换为你的模型逻辑）
            # generated_frames = self.decoder(final_embeddings)
            
            return final_embeddings

# 初始化Pipeline
inference_pipeline = CustomVideoInferencePipeline(encoder_model, controlnet, attention_model)

# 示例调用（假设输入为预处理后的张量）
# input_frames = torch.randn(1, 16, 3, 256, 256)  # 批次、帧数量、通道、高、宽
# control_cond = torch.randn(1, 3, 256, 256)
# inference_result = inference_pipeline.run_inference(input_frames, control_cond)

3. 常见问题处理 #

• 路径与配置文件缺失问题

  • 加载模型时必须传入子模块的绝对路径，禁止直接使用根目录（HuggingFace加载器默认在根目录寻找config.json）
  • 若某模块缺失config.json，可参考同类型开源模型的配置结构，根据自身模型参数手动编写
  • 若目录下同时存在.bin和.safetensors权重，需在from_pretrained中指定weight_name="pytorch_model.safetensors"明确加载格式

• HuggingFace加载OSError

  • 若需将模型上传至HuggingFace Hub，需在根目录添加model_index.json指定子模块路径：

    {
      "encoder": "./encoder",
      "controlnet": "./controlnet",
      "attention": "./attention"
    }
    

• 权重加载失败

  • 用safetensors工具验证权重文件完整性：safetensors check /model_directory/encoder/pytorch_model.safetensors
  • 确保自定义模型类的参数结构与权重文件中的键完全匹配，若存在键名不匹配，需手动映射或调整模型类

内容的提问来源于stack exchange，提问作者Neeraj