php 爬虫去重

在PHP中实现爬虫去重的方法有很多种，下面给出一种常用的方法：

1. 使用一个数组来保存已经爬取的URL，每次爬取一个URL时，将其添加到数组中。
2. 在爬取一个新的URL之前，先判断该URL是否已经存在于数组中，如果存在则跳过该URL，不进行爬取。
3. 可以使用PHP的in_array()函数来判断一个URL是否存在于数组中。

以下是一个简单的示例代码：

// 已经爬取的URL数组
$visitedUrls = array();

// 爬取指定URL
function crawl($url) {
    global $visitedUrls;

    // 判断该URL是否已经存在于数组中
    if (in_array($url, $visitedUrls)) {
        return;
    }

    // 将URL添加到数组中
    $visitedUrls[] = $url;

    // 进行爬取操作
    // ...
}

// 示例使用
crawl('http://example.com');
crawl('http://example.com/page1');
crawl('http://example.com/page2');
crawl('http://example.com/page1'); // 重复的URL，不会进行爬取

在实际应用中，你可能需要将已经爬取的URL保存到数据库或者文件中，以便下次启动爬虫时能够读取已经爬取的URL进行去重判断。你还可以根据具体需求对去重逻辑进行调整和优化。