零基础学python爬虫

# 简单的 Python 爬虫示例代码，适合零基础学习者

import requests
from bs4 import BeautifulSoup

# 发送 HTTP 请求获取网页内容
url = 'https://example.com'  # 替换为目标网站的 URL
response = requests.get(url)

# 检查请求是否成功
if response.status_code == 200:
    # 使用 BeautifulSoup 解析网页内容
    soup = BeautifulSoup(response.text, 'html.parser')

    # 查找所有的标题标签 <h1>
    titles = soup.find_all('h1')

    # 打印所有找到的标题
    for title in titles:
        print(title.get_text())
else:
    print("请求失败，状态码：", response.status_code)

解释说明：

1. 导入库：

   • requests：用于发送 HTTP 请求并获取网页内容。
   • BeautifulSoup（来自 bs4 库）：用于解析 HTML 文档。

2. 发送请求：

   • 使用 requests.get(url) 发送 GET 请求到指定的 URL，并将响应存储在 response 变量中。

3. 检查请求是否成功：

   • 通过检查 response.status_code 是否等于 200 来判断请求是否成功。200 表示请求成功。

4. 解析网页内容：

   • 使用 BeautifulSoup 解析响应的文本内容，并指定解析器为 'html.parser'。

5. 查找和打印标题：

   • 使用 soup.find_all('h1') 查找所有的 <h1> 标签，并遍历这些标签，打印它们的文本内容。

这个简单的爬虫示例可以帮助你理解如何使用 Python 获取和解析网页内容。你可以根据需要修改 URL 和查找的标签类型。