使用QNetworkAccessManager获取网页后indexOf查找子串返回-1求助

以下是导致问题的常见原因及对应解决方法：

1. 编码解码不匹配 #

硬编码使用UTF-8解码网页内容，但实际网页可能采用其他编码（比如Windows-1251），导致字符串解析混乱，无法匹配目标子串。

修复代码：
利用网页返回的Content-Type头自动识别编码：

if (reply->error() == QNetworkReply::NoError)
{
    QByteArray content = reply->readAll();
    // 从响应头获取编码
    QByteArray contentType = reply->header(QNetworkRequest::ContentTypeHeader).toByteArray();
    QTextCodec *codec = QTextCodec::codecForHtml(contentType);
    // 兜底用UTF-8
    if (!codec) codec = QTextCodec::codecForName("utf8");
    QString page = codec->toUnicode(content);
    
    // 后续处理逻辑...
}

2. 目标标签的字符串格式完全不匹配 #

代码中搜索的字符串包含换行和多余空格，而实际网页中的HTML标签格式可能不同（比如class属性值的空格数量、标签内其他属性顺序等），导致精确匹配失败。

解决方法：

• 先输出完整网页内容，确认目标标签的真实格式：

  ui->textEdit->setPlainText(page); // 先打印整个网页，查看实际标签
  

• 使用模糊匹配或正则表达式，避免精确匹配的局限性：

  // 用正则匹配包含目标class的div标签
  QRegExp startRx("<div[^>]*class=\"[^\"]*ListingCars_outputType_list[^\"]*\"");
  startRx.setMinimal(true); // 非贪婪匹配
  int startStrPos = startRx.indexIn(page);
  if (startStrPos != -1) {
      // 匹配到后可以调整位置到标签结束处
      startStrPos += startRx.matchedLength();
  }
  

3. 网页内容是JavaScript动态渲染的 #

auto.ru这类网站大量内容通过JavaScript动态生成，QNetworkAccessManager只能获取服务器返回的静态HTML，无法获取JS渲染后的动态内容，自然找不到目标标签。

解决方法：
改用QtWebEngine模块加载页面，等待JS渲染完成后获取完整DOM内容：

// 在类中声明QWebEnginePage成员变量
QWebEnginePage *webPage;

// 初始化并加载页面
void MainWindow::on_pushButton_clicked()
{
    pBar = new QProgressBar;
    pBar->setMaximum(0);
    pBar->setMinimum(0);
    pBar->show();

    webPage = new QWebEnginePage(this);
    connect(webPage, &QWebEnginePage::loadFinished, this, [=](bool ok) {
        if (ok) {
            webPage->toHtml([=](const QString &html) {
                // 在这里处理渲染后的完整HTML
                int startStrPos = html.indexOf("ListingCars_outputType_list");
                // ...后续逻辑
                pBar->close();
            });
        }
    });
    QUrl url("https://auto.ru/tver/cars/all/?utm_source=yandex_direct&utm_medium=direct.brand&utm_campaign=460_hand_desktop_used_brand_search_Tver_none_82222146&utm_content=cid%3A82222146%7Cgid%3A5114476686%7Caid%3A13330832990%7Cph%3A42898716904%7Cpt%3Apremium%7Cpn%3A1%7Csrc%3Anone%7Cst%3Asearch%7Ccgcid%3A0%7Cdt%3Adesktop&utm_term=auto+ru&adjust_t=cl4qttt_nsw4it6&adjust_campaign=82222146&adjust_adgroup=5114476686&tracker_limit=10000&adjust_ya_click_id=1049526807999603789&_openstat=ZGlyZWN0LnlhbmRleC5ydTs4MjIyMjE0NjsxMzMzMDgzMjk5MDt5YW5kZXgucnU6cHJlbWl1bQ&yclid=639777327900000255");
    webPage->load(url);
}

4. 请求头缺失导致返回异常内容 #

部分网站会根据请求头（如User-Agent）识别请求来源，QNetworkAccessManager的默认请求头可能被判定为爬虫，返回结构不同的页面。

解决方法：
添加模拟浏览器的请求头：

QNetworkRequest request;
QUrl url("你的URL");
request.setUrl(url);
// 添加浏览器标识
request.setRawHeader("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36");
request.setRawHeader("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,*/*;q=0.8");
request.setRawHeader("Accept-Language", "ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7");

this->manager->get(request);

内容的提问来源于stack exchange，提问作者Ahmed_08