通过网络爬虫收集信息

下面是一个通过网络爬虫收集信息的示例代码，使用Python的requests和BeautifulSoup库来实现：

import requests
from bs4 import BeautifulSoup

def get_page_content(url):
    response = requests.get(url)
    return response.content

def parse_page_content(content):
    soup = BeautifulSoup(content, 'html.parser')
    # 使用BeautifulSoup提取需要的信息
    # 例如：提取所有标题
    titles = soup.find_all('h1')
    for title in titles:
        print(title.text)

def crawl_website(url):
    content = get_page_content(url)
    parse_page_content(content)
    # 可以根据需要继续访问其他页面并解析内容

if __name__ == '__main__':
    url = 'http://example.com'  # 替换为目标网站的URL
    crawl_website(url)

这段代码首先定义了两个函数：get_page_content用于获取网页的内容，parse_page_content用于解析网页内容，提取所需的信息。

然后，通过调用crawl_website函数来开始爬取网站的内容。在该函数中，首先调用get_page_content函数获取网页的内容，然后调用parse_page_content函数解析网页内容并提取所需的信息。

你需要将代码中的url变量替换为你想要爬取的网站的URL。你也可以根据需要扩展代码，例如访问其他页面并解析内容。请注意，爬取网站内容时应遵守网站的使用条款和法律法规。