You need to enable JavaScript to run this app. Twitch剪辑爬取优化及ffmpeg单步合并加专属水印方案问询
优惠活动
大模型
产品
解决方案
定价
更多

Twitch剪辑爬取优化及ffmpeg单步合并加专属水印方案问询

Twitch爬取滚动失效修复及优化方案

滚动失效原因

Twitch的剪辑列表内容是在页面内部的独立滚动容器中渲染,直接对document.body执行滚动操作无法触发内容加载,所以原来的滚动代码不生效。

修复后的滚动代码

需要先定位到对应滚动容器,再针对容器执行滚动操作:

#!/usr/bin/python3.9
import bs4
import time
from selenium import webdriver
from selenium.webdriver.firefox.options import Options
from selenium.webdriver.common.by import By

# Initialize driver and run it headless
options = Options()
options.headless = True
driver = webdriver.Firefox(options=options)

def extract_data(source):
     soup=bs4.BeautifulSoup(source, 'html.parser')
     names=soup.find_all('a', attrs={'data-a-target':'preview-card-image-link'})
     return names

driver.get('https://www.twitch.tv/directory/game/League%20of%20Legends/clips?range=24hr')
time.sleep(3)

# 修复后的滚动逻辑
SCROLL_PAUSE_TIME = 2
scroll_container = driver.find_element(By.CSS_SELECTOR, '.simplebar-scroll-content')
last_height = driver.execute_script("return arguments[0].scrollHeight", scroll_container)

# 按需调整滚动次数获取更多内容
for i in range(5):
    driver.execute_script("arguments[0].scrollTop = arguments[0].scrollHeight", scroll_container)
    time.sleep(SCROLL_PAUSE_TIME)
    new_height = driver.execute_script("return arguments[0].scrollHeight", scroll_container)
    if new_height == last_height:
        break
    last_height = new_height

extract_links=extract_data(driver.page_source)
for a in extract_links:
    print(a.get('href'))

driver.quit()

额外爬取优化建议

可以直接调用Twitch公开的GQL API获取剪辑数据,无需模拟浏览器,请求效率更高、数据更稳定,单次请求最多可获取100条剪辑信息,还支持分页游标拉取更多内容。

FFmpeg合并同时添加专属水印方案

原方案可行性说明

你提到的在concat配置文件中为单个文件加配置的方案无法实现添加专属水印的需求,concat demuxer支持的配置仅为音视频编码、时长等元数据参数,不支持针对单个文件配置滤镜参数,水印属于滤镜操作,无法在concat配置文件中定义。

可行的单次渲染实现方案

使用ffmpeg的filter_complex功能,将所有视频和对应水印同时作为输入,先给每个视频叠加对应水印,再将处理后的音视频流合并,全程仅一次渲染,无二次编码损耗。

示例命令(以3个视频为例)

ffmpeg -i video1.mp4 -i video1.png -i video2.mp4 -i video2.png -i video3.mp4 -i video3.png \
-filter_complex "
[0:v][1:v]overlay=10:10[v1];
[2:v][3:v]overlay=10:10[v2];
[4:v][5:v]overlay=10:10[v3];
[v1][0:a][v2][2:a][v3][4:a]concat=n=3:v=1:a=1[v_out][a_out]
" \
-map "[v_out]" -map "[a_out]" out.mp4

参数说明

  • overlay=10:10 表示水印放在视频左上角,横向距边10px、纵向距边10px,可按需调整位置
  • concat=n=3 中的3为视频总数量,可按需修改
  • 若所有视频的分辨率、帧率、音频参数不一致,可在叠加水印前增加归一化滤镜,避免合并失败

内容的提问来源于stack exchange,提问作者dconixDev

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.14 11:00:17