如何使用Python获取引用我网站链接的站点网址及实现代码？

要找出哪些站点引用了你的网站，爬取全网显然不现实，最可行的方案是借助搜索引擎的反向链接查询能力。下面是基于Google Custom Search API的Python实现，比自行爬取效率高，也不容易触发反爬限制。

前置准备 #

1. 登录Google Cloud平台，申请API密钥，并创建一个自定义搜索引擎，获取对应的搜索引擎ID（具体操作可在平台内搜索“Custom Search API”查看指引）
2. 安装依赖库：pip install requests

代码实现 #

import requests

def find_backlinks(target_url, api_key, cx_id):
    backlinks = set()
    start = 1
    # Google Custom Search最多支持查询100条结果（10页，每页10条）
    while start <= 100:
        params = {
            'q': f'link:{target_url}',
            'key': api_key,
            'cx': cx_id,
            'start': start,
            'num': 10  # 每页最多返回10条结果
        }
        response = requests.get('https://www.googleapis.com/customsearch/v1', params=params)
        if response.status_code != 200:
            print(f"请求出错，状态码：{response.status_code}")
            break
        
        data = response.json()
        if 'items' not in data:
            break
        
        for item in data['items']:
            # 提取站点域名，避免重复收录同一站点的不同页面
            domain = item['link'].split('/')[2]
            backlinks.add(domain)
        
        # 翻页处理
        start += 10
    
    return backlinks

# 使用示例
if __name__ == '__main__':
    YOUR_TARGET_URL = "https://your-website.com"  # 替换成你的网站地址
    YOUR_API_KEY = "your-google-api-key"          # 替换成你的API密钥
    YOUR_CX_ID = "your-custom-search-engine-id"   # 替换成你的搜索引擎ID
    
    result = find_backlinks(YOUR_TARGET_URL, YOUR_API_KEY, YOUR_CX_ID)
    print("找到的引用站点：")
    for domain in result:
        print(domain)

注意事项 #

• Google Custom Search API有免费调用额度，超出后需付费，具体额度可查看平台说明
• 若不想用Google的API，可替换为Bing Web Search API，逻辑类似，仅需修改请求地址和参数
• 不要尝试用爬虫直接模拟搜索引擎搜索页面，这种方式极易被封禁IP，且结果不稳定
• 代码中仅提取了域名，若需要具体的引用页面链接，直接保存item['link']即可

内容的提问来源于stack exchange，提问作者Kartik Isher