从MinIO对象存储流式传输短视频的优化方案咨询

一、流媒体服务器对接MinIO的方案完全可行 #

1. Nginx RTMP + MinIO 配置步骤 #

Nginx RTMP模块支持从HTTP源拉取媒体文件并转成RTMP/HLS流，刚好适配MinIO的HTTP访问特性：

• 编译带RTMP模块的Nginx
  下载Nginx源码和rtmp-module，编译时添加模块：

  ./configure --with-http_ssl_module --add-module=../nginx-rtmp-module
  make && make install
  

• 配置Nginx RTMP和HTTP代理
  修改nginx.conf，添加RTMP服务器和MinIO代理配置：

  rtmp {
      server {
          listen 1935;
          chunk_size 4096;
  
          application live {
              live on;
              # 从MinIO拉取视频并转流，替换占位符为你的MinIO信息
              pull http://<minio-ip>:<port>/<bucket>/<video-path>;
          }
  
          application hls {
              live on;
              hls on;
              hls_path /tmp/hls;
              hls_fragment 5s;
              # 从MinIO拉取源视频
              pull http://<minio-ip>:<port>/<bucket>/<video-path>;
          }
      }
  }
  
  http {
      server {
          listen 8080;
          # 提供HLS流的HTTP访问入口，给前端调用
          location /hls {
              types {
                  application/vnd.apple.mpegurl m3u8;
                  video/mp2t ts;
              }
              root /tmp;
              add_header Cache-Control no-cache;
          }
  
          # 代理MinIO请求，避免直接暴露MinIO地址（可选）
          location /minio {
              proxy_pass http://<minio-ip>:<port>;
              proxy_set_header Host $host;
              proxy_set_header X-Real-IP $remote_addr;
          }
      }
  }
  

  注意：如果MinIO开启了认证，需在pull的URL中带上签名参数，或在Nginx代理中添加认证头。

• 前端访问
  前端可通过RTMP地址rtmp://<nginx-ip>:1935/live或HLS地址http://<nginx-ip>:8080/hls/stream.m3u8播放视频，HLS更适配移动端和浏览器场景。

2. Apache Flink 对接MinIO（适合实时处理场景） #

Flink是流处理框架，更适合视频的实时转码、分析，而非单纯流式分发，通常搭配Nginx RTMP使用：

• 添加MinIO依赖
  在pom.xml中添加依赖：

  <dependency>
      <groupId>org.apache.flink</groupId>
      <artifactId>flink-connector-filesystem</artifactId>
      <version>${flink.version}</version>
  </dependency>
  <dependency>
      <groupId>io.minio</groupId>
      <artifactId>minio</artifactId>
      <version>8.5.7</version>
  </dependency>
  

• 编写Flink任务拉取并处理视频
  通过Flink FileSystem API读取MinIO视频，转码后推送到Nginx RTMP：

  StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
  // 配置MinIO文件系统参数
  Configuration conf = new Configuration();
  conf.setString("fs.s3a.endpoint", "http://<minio-ip>:<port>");
  conf.setString("fs.s3a.access.key", "<minio-access-key>");
  conf.setString("fs.s3a.secret.key", "<minio-secret-key>");
  conf.setString("fs.s3a.path.style.access", "true");
  env.configure(conf);
  
  // 读取MinIO中的视频文件（实时监控新增文件）
  DataStream<Path> videoPaths = env.readFile(
      new TextInputFormat(new Path("s3a://<bucket>/videos/")),
      "s3a://<bucket>/videos/",
      FileProcessingMode.PROCESS_CONTINUOUSLY,
      1000
  );
  
  // 转码并推流到Nginx RTMP
  videoPaths.map(path -> {
      String cmd = String.format(
          "ffmpeg -i %s -c:v libx264 -c:a aac -f flv rtmp://<nginx-ip>:1935/live/%s",
          path.toString(), path.getName()
      );
      Runtime.getRuntime().exec(cmd);
      return path.getName();
  });
  
  env.execute("MinIO Video Stream Processing");
  

二、替代优化方案（无需部署流媒体服务器） #

如果觉得流媒体服务器部署复杂，可尝试以下优化：

• Nginx反向代理缓存MinIO视频
  在MinIO前端部署Nginx，开启缓存存储热门视频，减少MinIO重复请求：

  server {
      listen 80;
      location / {
          proxy_pass http://<minio-ip>:<port>;
          proxy_cache video_cache;
          proxy_cache_valid 200 1d; # 有效视频缓存1天
          proxy_cache_key $uri$is_args$args;
      }
  }
  

• 预转码视频为HLS格式
  用户上传视频后，后台用ffmpeg将视频转码为HLS（切片成小文件）存储到MinIO，前端加载m3u8文件实现分段加载：

  ffmpeg -i input.mp4 -c:v libx264 -c:a aac -hls_time 5 -hls_list_size 0 output.m3u8
  

• CDN加速
  将MinIO视频URL接入CDN，利用边缘节点缓存视频，用户从最近节点获取内容，降低延迟卡顿。

内容的提问来源于stack exchange，提问作者Mohammed Saqeeb Khan M K