如何使用自定义代理启动代理服务器并进行Chrome网页抓取？

一、直接让Chrome使用目标代理 #

Chrome可通过命令行参数直接指定代理，步骤如下：

1. 拆解你的代理信息：

   • 代理地址：ultra.marsproxies.com
   • 端口：44443
   • 用户名：mr5288luJd
   • 密码：MgC2yzBIYf_country-de_session-onsf0lci

2. 构造对应系统的Chrome启动命令：
   Windows（命令提示符）：

   "C:\Program Files\Google\Chrome\Application\chrome.exe" --proxy-server=http://mr5288luJd:MgC2yzBIYf_country-de_session-onsf0lci@ultra.marsproxies.com:44443
   

   macOS（终端）：

   /Applications/Google\ Chrome.app/Contents/MacOS/Google\ Chrome --proxy-server=http://mr5288luJd:MgC2yzBIYf_country-de_session-onsf0lci@ultra.marsproxies.com:44443
   

   Linux（终端）：

   google-chrome --proxy-server=http://mr5288luJd:MgC2yzBIYf_country-de_session-onsf0lci@ultra.marsproxies.com:44443
   

3. 验证代理生效：
   打开Chrome后访问https://www.whatismyip.com/，确认显示的IP为德国（代理指定country-de）。

二、通过本地代理服务器转发（适合需拦截/修改请求的场景） #

以mitmproxy为例，搭建本地代理并转发到目标代理：

1. 安装mitmproxy：

   pip install mitmproxy
   

2. 创建配置文件config.yaml：

   upstream_proxy: http://mr5288luJd:MgC2yzBIYf_country-de_session-onsf0lci@ultra.marsproxies.com:44443
   

3. 启动mitmproxy：

   mitmproxy --config config.yaml
   

4. 启动Chrome使用本地代理：

   # Windows
   "C:\Program Files\Google\Chrome\Application\chrome.exe" --proxy-server=http://127.0.0.1:8080
   

   # macOS/Linux
   /Applications/Google\ Chrome.app/Contents/MacOS/Google\ Chrome --proxy-server=http://127.0.0.1:8080
   

注意事项 #

• 若Chrome弹出代理认证窗口，直接输入代理用户名和密码即可。
• 部分代理要求使用HTTPS协议，可将命令中的http://替换为https://尝试。

内容的提问来源于stack exchange，提问作者Tech with Kuda