如何通过编程处理谷歌本地化SERPs及设备排名差异？

我正在开发一款可跨国家、跨设备以编程方式追踪谷歌关键词排名的工具，核心目标是确保本地SEO结果的准确性，并解决移动与桌面端的排名差异问题。以下是用Python实现的示例代码：

import requests
from bs4 import BeautifulSoup

def get_google_serp(keyword, language="en-US", mobile=False):
    """
    Fetches Google search results for a keyword with locale and device-specific headers.
    
    Args:
        keyword (str): Search query
        language (str): Accept-Language header for locale
        mobile (bool): Simulate mobile device if True
        
    Returns:
        list: Titles of search results
    """
    user_agent = (
        "Mozilla/5.0 (Linux; Android 14; Pixel 8) "
        "AppleWebKit/537.36 (KHTML, like Gecko) "
        "Chrome/137.0.0.0 Mobile Safari/537.36"
    ) if mobile else (
        "Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
        "AppleWebKit/537.36 (KHTML, like Gecko) "
        "Chrome/137.0.0.0 Safari/537.36"
    )

    url = f"https://www.google.com/search?q={keyword.replace(' ', '+')}&gws_rd=cr"

    headers = {
        "User-Agent": user_agent,
        "Accept-Language": language
    }

    response = requests.get(url, headers=headers)
    soup = BeautifulSoup(response.text, "html.parser")

    results = []
    for idx, result in enumerate(soup.select("div.g"), start=1):
        title = result.select_one("h3")
        if title:
            results.append(f"{idx}. {title.get_text()}")

    return results

# Example usage
desktop_results = get_google_serp("best seo tools", language="en-US", mobile=False)
mobile_results = get_google_serp("best seo tools", language="en-US", mobile=True)

print("Desktop Rankings:")
print("\n".join(desktop_results))
print("\nMobile Rankings:")
print("\n".join(mobile_results))

核心实现要点 #

1. 本地化SERPs适配 #

• 使用Accept-Language请求头获取对应区域的专属搜索结果
• 添加gws_rd=cr参数，避免缓存或全球化统一结果的干扰

2. 设备类型模拟 #

• 受谷歌移动优先索引机制影响，移动与桌面端的关键词排名可能存在明显差异
• 通过修改User-Agent请求头，模拟不同设备的访问环境

3. 潜在差异影响因素 #

• 本地包、特色摘要及广告等元素会随设备类型不同改变结果排序
• 若未设置gws_rd参数，重复查询时缓存可能导致结果偏差

待探讨的技术问题 #

• 抓取排名时如何处理动态SERP元素（如本地包、特色摘要）？
• 在自动化排名报告中，协调移动与桌面端差异有哪些最佳实践？
• 除Accept-Language和gws_rd外，还有哪些参数可以确保国际追踪的准确性？

内容的提问来源于stack exchange，提问作者Mujahid Mughal