Python网络爬虫程序无输出问题排查求助

• 先脱离UI单独验证爬虫逻辑
  别先纠结PyQt5，把爬取代码单独拿出来跑：

  • 打印response.status_code，如果不是200，要么是URL写错了，要么是被网站反爬了，赶紧加User-Agent这类请求头试试；
  • 打印response.text，看看拿到的是不是目标页面的内容——要是返回的是反爬提示或者空字符串，那爬虫第一步就没走通。

• 检查是否是动态页面问题
  如果目标网站的职位数据是JS动态加载的，用requests直接爬只能拿到空的静态框架，根本抓不到数据。这时候要么换Selenium/Playwright模拟浏览器渲染，要么按F12打开开发者工具，抓Network里的XHR接口直接请求数据。

• PyQt5主线程阻塞问题
  爬虫代码不能直接写在UI按钮的点击事件里，会阻塞主线程，导致程序假死，爬取逻辑根本没机会执行完，自然没输出。必须把爬取逻辑放到QThread子线程里，爬完用信号槽把数据传给UI线程显示。

• 数据解析是否出错
  检查你的XPath/CSS选择器是不是写错了——比如class名多打了个空格、标签名拼错，或者网站页面结构更新了。可以把爬下来的HTML存成本地文件，用浏览器开发者工具重新验证选择器是否能选中内容。要是解析后得到的是空列表，那就是选择器的问题。

• 输出逻辑有没有绑定UI
  爬完数据后，你有没有把数据放到PyQt5的控件里？比如有没有调用QTextEdit.append()或者QListWidget.addItem()？要是只爬了数据但没往UI控件里塞，当然看不到输出。另外，记得加异常捕获，把爬取过程中的错误打出来，比如用try-except包裹，打印traceback.print_exc()，不然报错了也不知道。

from PyQt5.QtCore import QThread, pyqtSignal
from PyQt5.QtWidgets import QMainWindow, QPushButton, QTextEdit, QVBoxLayout, QWidget
import requests
from bs4 import BeautifulSoup
import traceback

class SpiderThread(QThread):
    result_signal = pyqtSignal(list)
    error_signal = pyqtSignal(str)

    def __init__(self, target_url):
        super().__init__()
        self.url = target_url

    def run(self):
        try:
            headers = {
                "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36"
            }
            response = requests.get(self.url, headers=headers, timeout=10)
            response.raise_for_status()  # 抛出HTTP错误
            soup = BeautifulSoup(response.text, "html.parser")
            # 替换成你实际的选择器
            job_items = soup.select(".job-title")
            job_list = [item.get_text(strip=True) for item in job_items]
            self.result_signal.emit(job_list)
        except Exception as e:
            self.error_signal.emit(str(traceback.format_exc()))

class JobSearchWindow(QMainWindow):
    def __init__(self):
        super().__init__()
        self.setWindowTitle("职位搜索")
        self.init_ui()

    def init_ui(self):
        central_widget = QWidget()
        layout = QVBoxLayout()

        self.search_btn = QPushButton("开始搜索")
        self.search_btn.clicked.connect(self.start_crawl)
        layout.addWidget(self.search_btn)

        self.result_display = QTextEdit()
        layout.addWidget(self.result_display)

        central_widget.setLayout(layout)
        self.setCentralWidget(central_widget)

    def start_crawl(self):
        # 替换成你的目标URL
        target_url = "https://example.com/jobs"
        self.spider_thread = SpiderThread(target_url)
        self.spider_thread.result_signal.connect(self.show_results)
        self.spider_thread.error_signal.connect(self.show_error)
        self.spider_thread.start()

    def show_results(self, job_list):
        if not job_list:
            self.result_display.append("未搜索到任何职位")
            return
        self.result_display.append("搜索结果：")
        for idx, job in enumerate(job_list, 1):
            self.result_display.append(f"{idx}. {job}")

    def show_error(self, error_msg):
        self.result_display.append("爬取出错：")
        self.result_display.append(error_msg)

if __name__ == "__main__":
    import sys
    from PyQt5.QtWidgets import QApplication
    app = QApplication(sys.argv)
    window = JobSearchWindow()
    window.show()
    sys.exit(app.exec_())

内容的提问来源于stack exchange，提问作者Freazy x