如何绕过URL中的标题爬取eqs-news网站的新闻内容？

我想要爬取eqs-news网站的新闻内容，该网站新闻URL示例为：https://www.eqs-news.com/de/news/adhoc/vectron-systems-ag-vectron-uebernimmt-acardo/1724329。URL末尾的数字是唯一新闻ID，我原本希望通过遍历所有可能的ID来爬取全部新闻，但由于URL中包含新闻标题，这一方法无法实现。我已尝试以下两种方式但均未成功：

• 使用查询字符串https://www.eqs-news.com/?data-news-item=1724329访问；
• 查看网站站点地图https://www.eqs-news.com/wp-sitemap.xml未找到相关信息。
  请问是否有办法绕过URL中的标题实现爬取？

可行解决方案 #

1. 测试标题占位符有效性 #

很多网站的URL标题仅用于SEO优化，实际识别新闻仅依赖末尾的ID。你可以把标题部分替换成任意字符串，比如：
https://www.eqs-news.com/de/news/adhoc/xxx/1724329
如果能正常打开对应新闻，直接遍历ID，标题部分用固定占位符即可完成爬取。

2. 抓取新闻列表分页 #

找到网站的新闻分类列表页（比如adhoc新闻的列表页），通过翻页获取所有新闻的完整URL，从中提取ID。可以检查页面的分页按钮，或者打开浏览器开发者工具查看Network面板中的AJAX请求——很多网站会用接口加载下一页数据，直接解析接口响应效率更高。

3. 查找内部API接口 #

打开浏览器开发者工具（F12），加载目标新闻页面时观察Network面板，看是否存在通过ID直接获取新闻内容的API（类似/api/news/detail/1724329的格式）。如果找到这类接口，直接调用接口遍历ID即可，无需处理URL中的标题部分。

4. 尝试简化URL路径 #

测试省略中间路径的简化URL是否有效，比如：
https://www.eqs-news.com/de/news/1724329
或直接：
https://www.eqs-news.com/1724329
部分网站支持这种简化访问方式，直接通过ID即可定位新闻。

5. 借助搜索引擎索引 #

通过搜索引擎搜索site:eqs-news.com获取该网站的新闻URL集合，提取其中的ID进行爬取。不过这种方式可能无法覆盖所有历史新闻，适合补充遗漏内容。

内容的提问来源于stack exchange，提问作者MoJo494