javascript 爬虫

// 使用 Node.js 和 cheerio 库进行简单的网页抓取
const axios = require('axios');
const cheerio = require('cheerio');

// 定义要抓取的 URL
const url = 'https://example.com';

// 发送 HTTP 请求获取页面内容
async function fetchPageContent() {
    try {
        const response = await axios.get(url);
        const html = response.data;

        // 使用 cheerio 加载 HTML 内容
        const $ = cheerio.load(html);

        // 抓取特定元素的内容，例如所有 <h1> 标签
        const headings = [];
        $('h1').each((index, element) => {
            headings.push($(element).text());
        });

        console.log(headings);
    } catch (error) {
        console.error(`Error fetching the page: ${error.message}`);
    }
}

fetchPageContent();

解释说明：

1. 引入依赖库：使用 axios 发送 HTTP 请求，使用 cheerio 解析和操作 HTML。
2. 定义目标 URL：指定要抓取的网页地址。
3. 发送请求：通过 axios.get 方法获取网页的 HTML 内容。
4. 解析 HTML：使用 cheerio.load 将 HTML 内容加载到 $ 对象中，类似于 jQuery 的用法。
5. 抓取数据：遍历特定的 HTML 元素（如 <h1> 标签），并提取文本内容。
6. 输出结果：将抓取到的内容打印到控制台。