使用URLSession请求YouTube返回script元素带转义编码导致JSON解析错误
问题本质
该异常与URLSession、HTTP编码无关,是YouTube根据请求头的User-Agent字段返回了不同格式的响应:
URLSession默认携带的非浏览器类UA,会被YouTube判定为非常规客户端,此时返回的ytInitialData会使用JavaScript层面的十六进制转义(\xXX格式)包裹内容- 浏览器、
OkHttp请求时使用的浏览器类UA,会触发YouTube返回原生JSON格式的ytInitialData,无额外转义URLSession返回的字符串完全是YouTube下发的原始内容,解码流程正确,不存在传输层的编码错误。
解决方案
方案1:添加浏览器类User-Agent(推荐)
直接给URLRequest添加主流浏览器的UA字段,即可获取和浏览器一致的无转义响应,无需后续处理:
request.setValue("Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36", forHTTPHeaderField: "User-Agent")
方案2:解码现有响应的JS十六进制转义
如果必须保留当前请求配置,可统一解码所有\xXX格式的转义序列:
- 使用正则表达式
\\x([0-9a-fA-F]{2})匹配所有转义片段 - 将捕获到的两位十六进制字符串转为对应UInt8值,再转为UTF-8字符替换原转义序列
- 解码完成后提取
ytInitialData对应的字符串,剥离首尾包裹的单引号,即可得到合法JSON
注意事项
- 禁止通过
replacingOccurrences逐个替换已知的\xXX序列,会遗漏未覆盖的特殊字符,导致最终JSON格式畸形 URLSession无内置配置可以移除这类转义,这类转义是响应内容本身的一部分,不属于HTTP传输层编码范畴
内容的提问来源于stack exchange,提问作者Paul Thompson
相关产品推荐
相关产品推荐

