网页爬虫结果存在文章重复问题求助（附代码）

我把常用的Markdown格式规则整理好了，每个规则都配了实例，一看就懂：

• 标题：用#开头，#的数量对应标题层级（1到6级，数量越多层级越低）
  举个例子：

  # 一级标题（字号最大）
  ## 二级标题
  ### 三级标题
  

• 列表项：每条内容前加短横线-，记得后面要跟空格；嵌套列表的话前面加缩进就行
  例子：

  - 周末计划
    - 爬山
    - 看纪录片
  - 下周工作安排
  

• 文本强调：用星号*包裹内容，单星号是斜体，双星号是粗体
  比如：

  *这本书的叙事节奏*把握得**恰到好处**
  

• 代码/命令：单行代码用单个反引号`包裹，多行代码用三个反引号```包裹，还能指定代码语言
  示例：

  单行命令：`git commit -m "update"`
  多行代码块：
  ```javascript
  function sayHi(name) {
      console.log(`Hi, ${name}!`);
  }
  

• 引用文本：用大于号>开头，适合标注他人话语或者需要突出的内容
  比如：

  > 不要等待机会，而要创造机会。
  

• 链接：格式是[显示的文字](链接地址)，点击文字就能跳转到对应网址
  例子：

  [技术博客](https://example.com/blog)
  

• 图片：格式是[图片加载失败时显示的文字](图片地址)，就算图片打不开也能知道内容是什么
  示例：

  [海边日落](https://example.com/sunset.jpg)
  

内容的提问来源于stack exchange，提问作者Cecily Grossmann