Twitch剪辑爬取优化及ffmpeg单步合并加专属水印方案问询
Twitch爬取滚动失效修复及优化方案
滚动失效原因
Twitch的剪辑列表内容是在页面内部的独立滚动容器中渲染,直接对document.body执行滚动操作无法触发内容加载,所以原来的滚动代码不生效。
修复后的滚动代码
需要先定位到对应滚动容器,再针对容器执行滚动操作:
#!/usr/bin/python3.9 import bs4 import time from selenium import webdriver from selenium.webdriver.firefox.options import Options from selenium.webdriver.common.by import By # Initialize driver and run it headless options = Options() options.headless = True driver = webdriver.Firefox(options=options) def extract_data(source): soup=bs4.BeautifulSoup(source, 'html.parser') names=soup.find_all('a', attrs={'data-a-target':'preview-card-image-link'}) return names driver.get('https://www.twitch.tv/directory/game/League%20of%20Legends/clips?range=24hr') time.sleep(3) # 修复后的滚动逻辑 SCROLL_PAUSE_TIME = 2 scroll_container = driver.find_element(By.CSS_SELECTOR, '.simplebar-scroll-content') last_height = driver.execute_script("return arguments[0].scrollHeight", scroll_container) # 按需调整滚动次数获取更多内容 for i in range(5): driver.execute_script("arguments[0].scrollTop = arguments[0].scrollHeight", scroll_container) time.sleep(SCROLL_PAUSE_TIME) new_height = driver.execute_script("return arguments[0].scrollHeight", scroll_container) if new_height == last_height: break last_height = new_height extract_links=extract_data(driver.page_source) for a in extract_links: print(a.get('href')) driver.quit()
额外爬取优化建议
可以直接调用Twitch公开的GQL API获取剪辑数据,无需模拟浏览器,请求效率更高、数据更稳定,单次请求最多可获取100条剪辑信息,还支持分页游标拉取更多内容。
FFmpeg合并同时添加专属水印方案
原方案可行性说明
你提到的在concat配置文件中为单个文件加配置的方案无法实现添加专属水印的需求,concat demuxer支持的配置仅为音视频编码、时长等元数据参数,不支持针对单个文件配置滤镜参数,水印属于滤镜操作,无法在concat配置文件中定义。
可行的单次渲染实现方案
使用ffmpeg的filter_complex功能,将所有视频和对应水印同时作为输入,先给每个视频叠加对应水印,再将处理后的音视频流合并,全程仅一次渲染,无二次编码损耗。
示例命令(以3个视频为例)
ffmpeg -i video1.mp4 -i video1.png -i video2.mp4 -i video2.png -i video3.mp4 -i video3.png \ -filter_complex " [0:v][1:v]overlay=10:10[v1]; [2:v][3:v]overlay=10:10[v2]; [4:v][5:v]overlay=10:10[v3]; [v1][0:a][v2][2:a][v3][4:a]concat=n=3:v=1:a=1[v_out][a_out] " \ -map "[v_out]" -map "[a_out]" out.mp4
参数说明
overlay=10:10表示水印放在视频左上角,横向距边10px、纵向距边10px,可按需调整位置concat=n=3中的3为视频总数量,可按需修改- 若所有视频的分辨率、帧率、音频参数不一致,可在叠加水印前增加归一化滤镜,避免合并失败
内容的提问来源于stack exchange,提问作者dconixDev
相关产品推荐
相关产品推荐

