js 爬虫

// 使用 Node.js 和 cheerio 库进行简单的网页爬取

// 首先需要安装所需的库，可以使用 npm 安装：
// npm install axios cheerio

const axios = require('axios');
const cheerio = require('cheerio');

// 目标网址
const url = 'https://example.com';

// 发送 HTTP 请求获取页面内容
axios.get(url)
  .then(response => {
    // 加载页面内容到 cheerio 中
    const $ = cheerio.load(response.data);

    // 查找并提取特定元素的内容
    const title = $('title').text();
    console.log('页面标题:', title);

    // 提取所有链接
    const links = [];
    $('a').each((index, element) => {
      links.push($(element).attr('href'));
    });
    console.log('页面中的链接:', links);
  })
  .catch(error => {
    console.error('请求失败:', error);
  });

解释说明：

1. 引入库：我们使用 axios 发送 HTTP 请求，并使用 cheerio 来解析和操作 HTML。
2. 目标网址：设置要爬取的网页 URL。
3. 发送请求：使用 axios.get 方法发送 GET 请求以获取网页内容。
4. 加载页面内容：使用 cheerio.load 将返回的 HTML 内容加载到 $ 对象中，类似于 jQuery 的方式。
5. 提取数据：通过选择器（如 $('title') 和 $('a')）来提取页面中的特定元素，并输出结果。
6. 错误处理：捕获并打印任何可能发生的错误。

如果你想要更复杂的功能或处理更多类型的网页内容，可以根据需求进一步扩展此代码。