Requests.get本地与Streamlit Cloud运行返回结果不一致求助

1. 补全请求头，模拟真实Edge环境 #

Streamlit Cloud服务器IP大概率被目标网站识别为爬虫，别只加User-Agent，把Edge隐身模式下的完整请求头都补上，匹配你测试时能正常加载的环境：

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36 Edg/118.0.2088.61',
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
    'Accept-Language': 'zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3',
    'Referer': 'https://www.google.com/',
    'DNT': '1',
    'Connection': 'keep-alive',
    'Upgrade-Insecure-Requests': '1'
}
response = requests.get(target_url, headers=headers)

2. 加入Cookie维持会话状态 #

部分网站靠Cookie判断是否为合法用户，本地浏览器会自动携带Cookie，但requests是无状态请求。你可以在Edge隐身模式下打开开发者工具（F12），复制目标页面的Cookie字符串，加到请求头里：

headers['Cookie'] = '复制的Cookie内容'

嫌手动更新麻烦的话，改用requests.Session()维持会话，模拟浏览器的持续连接状态。

3. 排查IP限制问题 #

Streamlit Cloud的服务器IP可能被目标网站拉黑，试试用代理IP请求（注意合规），用Streamlit的Secrets管理敏感代理信息：

proxies = {
    'http': st.secrets["PROXY_HTTP"],
    'https': st.secrets["PROXY_HTTPS"]
}
response = requests.get(target_url, headers=headers, proxies=proxies)

4. 用浏览器渲染工具绕过静态请求限制 #

如果目标网站有JS渲染或反爬机制，单纯requests静态请求拿不到数据，试试用playwright模拟真实浏览器渲染，在requirements.txt里添加playwright，代码示例：

from playwright.sync_api import sync_playwright

with sync_playwright() as p:
    browser = p.chromium.launch(headless=True)
    page = browser.new_page(user_agent='你的Edge UA')
    page.goto(target_url)
    html_content = page.content()
    browser.close()
    # 后续用BeautifulSoup解析html_content

5. 对比本地与云端的请求返回 #

在Streamlit里用st.text(response.text)输出云端请求的返回内容，和本地的返回对比，看是不是遇到了Cloudflare验证、重定向到人机校验页面的情况。如果是Cloudflare拦截，可能需要针对性处理或更换数据源。

内容的提问来源于stack exchange，提问作者Mendy Kay