Python PycURL报错：URL含非法字符，编码后主机解析失败求解决

看起来你遇到的问题很典型：直接编码整个URL导致协议部分被破坏，进而引发主机解析失败。让我们一步步拆解并解决这个问题：

问题根源分析 #

• 初始报错(3, 'Illegal characters found in URL')：URL中的[、]这类字符属于RFC规范中的非法URL字符，必须编码后才能被PycURL识别。
• 编码后出现Could not resolve host: https%3A：你尝试用urllib.quote(url.encode('utf-8'))编码整个URL，这会把https://编码成https%3A%2F%2F，导致PycURL无法识别正确的主机地址。

正确的解决方案：仅编码URL的路径部分 #

我们需要拆分URL结构，只对包含特殊字符的路径（或查询参数）部分进行编码，保留协议、主机等核心部分不变。同时还要注意去除从文件读取时可能带有的换行符。

修改后的核心代码片段

在你的WorkerThread.run()方法中，替换URL处理的部分为以下代码：

def run(self):
    while 1:
        try:
            url, filename = self.queue.get_nowait()
        except Queue.Empty:
            raise SystemExit
        
        # 第一步：去除URL首尾的空白（比如换行符，这也是常见的非法字符来源）
        url = url.strip()
        
        # 第二步：拆分URL，仅编码路径部分
        from urlparse import urlparse, urlunparse
        parsed_url = urlparse(url)
        # 对路径部分进行UTF-8编码后再转义特殊字符
        encoded_path = urllib.quote(parsed_url.path.encode('utf-8'))
        # 重新拼接合法的URL
        encoded_full_url = urlunparse((
            parsed_url.scheme,
            parsed_url.netloc,
            encoded_path,
            parsed_url.params,
            parsed_url.query,
            parsed_url.fragment
        ))
        
        fp = open(os.getcwd()+'/'+filename, "wb")
        curl = pycurl.Curl()
        # 使用编码后的完整URL
        curl.setopt(pycurl.URL, encoded_full_url)
        # 其余curl配置保持不变...

关键细节说明 #

• strip()处理：从文本文件读取的URL通常会带有换行符\n，这也是PycURL判定的非法字符，必须先去除。
• 拆分URL编码：通过urlparse拆分出URL的各个组成部分（协议、主机、路径等），只对路径部分编码，避免破坏协议和主机信息，这样PycURL就能正常解析主机地址了。
• 字符编码：先把路径转成UTF-8编码再进行URL转义，避免中文或其他非ASCII字符引发的编码问题。

额外注意事项 #

如果你的URL中查询参数也包含特殊字符，同样需要对parsed_url.query部分进行编码后再拼接回去，方法和路径编码一致：

encoded_query = urllib.quote(parsed_url.query.encode('utf-8'))

这样修改后，你的PycURL应该就能正常处理包含特殊字符的URL了。

内容的提问来源于stack exchange，提问作者JohnDotOwl