如何用PHP提取网页外部链接并存储到数据库？

好的，我来帮你一步步实现这个需求——从已获取的页面内容里提取外部链接并存入数据库。咱们分三个核心步骤来做，每个步骤都给你具体的代码示例：

1. 解析HTML，提取所有<a>标签的href属性 #

直接用正则表达式解析HTML很容易出错（比如遇到嵌套标签、属性值带特殊字符的复杂情况），所以优先用PHP内置的DOMDocument来处理，它能更可靠地解析HTML结构：

// 先抑制HTML解析时的警告（很多网站的HTML格式并不规范）
libxml_use_internal_errors(true);

$dom = new DOMDocument();
$dom->loadHTML($pageContent);
libxml_clear_errors(); // 清除解析时产生的错误缓存

$links = [];
$aTags = $dom->getElementsByTagName('a');
foreach ($aTags as $tag) {
    $href = $tag->getAttribute('href');
    if (!empty($href)) {
        $links[] = $href;
    }
}

2. 筛选出真正的外部链接 #

接下来要从所有href里挑出外部链接——也就是不属于当前站点（sample-site.org）的链接。这里需要先解析当前站点的域名，再逐个判断每个链接的归属：

// 定义当前站点的基础URL
$currentSiteUrl = "http://sample-site.org";
$currentHost = parse_url($currentSiteUrl, PHP_URL_HOST);

$externalLinks = [];
foreach ($links as $link) {
    // 跳过空链接、javascript伪协议链接、纯锚点链接
    if (empty($link) || str_starts_with($link, 'javascript:') || str_starts_with($link, '#')) {
        continue;
    }

    // 解析链接的结构信息
    $linkParts = parse_url($link);

    // 情况1：是绝对URL，且域名和当前站点不同 → 属于外部链接
    if (isset($linkParts['host']) && $linkParts['host'] !== $currentHost) {
        // 可选：规范化URL，去掉锚点部分（比如http://othersite.com#top → http://othersite.com）
        $cleanLink = $linkParts['scheme'] . '://' . $linkParts['host'] . ($linkParts['path'] ?? '');
        if (isset($linkParts['query'])) {
            $cleanLink .= '?' . $linkParts['query'];
        }
        $externalLinks[] = $cleanLink;
    }
    // 情况2：是相对URL → 属于当前站点，直接跳过
}

// 可选：去重，避免重复存入相同的链接
$externalLinks = array_unique($externalLinks);

3. 将外部链接存入数据库 #

这里用PHP的PDO来操作数据库（比老旧的mysql_*函数更安全、更通用），假设你使用的是MySQL数据库：

// 数据库连接信息，替换成你自己的配置
$dbHost = 'localhost';
$dbName = 'your_database_name';
$dbUser = 'your_username';
$dbPass = 'your_password';

try {
    // 建立PDO连接，开启异常模式方便调试
    $pdo = new PDO("mysql:host=$dbHost;dbname=$dbName;charset=utf8mb4", $dbUser, $dbPass);
    $pdo->setAttribute(PDO::ATTR_ERRMODE, PDO::ERRMODE_EXCEPTION);

    // 准备插入语句（用参数绑定防止SQL注入）
    $stmt = $pdo->prepare("INSERT INTO external_links (url, created_at) VALUES (:url, NOW())");

    // 循环插入每个外部链接
    foreach ($externalLinks as $url) {
        // 可选：先检查链接是否已存在，避免重复插入
        $checkStmt = $pdo->prepare("SELECT id FROM external_links WHERE url = :url");
        $checkStmt->bindParam(':url', $url);
        $checkStmt->execute();
        if ($checkStmt->rowCount() === 0) {
            $stmt->bindParam(':url', $url);
            $stmt->execute();
        }
    }

    echo "外部链接已成功存入数据库！";
} catch (PDOException $e) {
    die("数据库操作失败: " . $e->getMessage());
}

额外注意事项 #

• 确保你的数据库已经创建了对应的表，比如：

  CREATE TABLE external_links (
      id INT AUTO_INCREMENT PRIMARY KEY,
      url VARCHAR(255) NOT NULL UNIQUE,
      created_at DATETIME DEFAULT CURRENT_TIMESTAMP
  );
  

• 如果目标网站有反爬机制，file_get_contents可能会被拒绝，这时候可以给请求加模拟浏览器的User-Agent头：

  $opts = [
      'http' => [
          'header' => 'User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36'
      ]
  ];
  $context = stream_context_create($opts);
  $pageContent = file_get_contents("http://sample-site.org", false, $context);
  

• 对于HTTPS网站，确保你的PHP环境已经开启openssl扩展。

内容的提问来源于stack exchange，提问作者Majid