使用Python请求m3u8链接返回非预期HTML 求解决方案
日本国会HLS视频抓取问题解决方案
补全防盗链请求头
该Wowza服务器配置了来源校验,直接裸请求会被拦截返回错误HTML,必须携带浏览器标识和官网Referer才能访问,测试代码如下:
import requests url = "http://hlsvod.shugiintv.go.jp/vod/_definst_/amlst:2011/2011-1207-0900-12/playlist.m3u8" headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36", "Referer": "https://www.shugiintv.go.jp/" } res = requests.get(url, headers=headers) res.encoding = "utf-8" print(res.text)
注:如果http协议请求无响应,可将URL中的
http替换为https再测试。
URL冒号编码处理
如果加完请求头仍返回错误,说明服务器对URL路径中的冒号做了严格校验,需要把路径里的冒号转义为标准URL编码%3A,可通过urllib工具自动处理,不需要手动修改URL:
import requests from urllib.parse import urlsplit, quote, urlunsplit original_url = "http://hlsvod.shugiintv.go.jp/vod/_definst_/amlst:2011/2011-1207-0900-12/playlist.m3u8" split_url = urlsplit(original_url) # 仅对路径部分编码,保留路径分隔符 encoded_path = quote(split_url.path, safe="/") encoded_url = urlunsplit(( split_url.scheme, split_url.netloc, encoded_path, split_url.query, split_url.fragment )) headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36", "Referer": "https://www.shugiintv.go.jp/" } res = requests.get(encoded_url, headers=headers) print(res.text)
后续抓取注意事项
- 请求chunklist、ts分片时必须复用上述请求头,否则会触发防盗链拦截
- m3u8文件内的资源都是相对路径,用
urllib.parse.urljoin拼接完整地址,避免手动拼接路径错误 - 下载到的ts分片为标准MPEG-TS格式,按播放顺序把二进制内容追加到同一个文件即可得到完整视频,无需转码
兜底校验
如果上述方法仍无效,打开原播放页的浏览器开发者工具,在网络面板筛选m3u8请求,对比浏览器成功请求的URL、请求头参数,确认是否存在临时鉴权参数被遗漏。
内容的提问来源于stack exchange,提问作者K_0825
相关产品推荐
相关产品推荐

