爬虫python入门

# 简单的 Python 爬虫入门示例代码

import requests
from bs4 import BeautifulSoup

# 目标URL
url = 'https://example.com'

# 发送HTTP请求获取网页内容
response = requests.get(url)

# 检查请求是否成功
if response.status_code == 200:
    # 使用BeautifulSoup解析网页内容
    soup = BeautifulSoup(response.text, 'html.parser')

    # 查找所有的标题标签<h1>
    titles = soup.find_all('h1')

    # 打印所有标题文本
    for title in titles:
        print(title.get_text())
else:
    print("请求失败，状态码:", response.status_code)

解释说明：

1. 导入库：我们首先导入了 requests 和 BeautifulSoup。requests 用于发送 HTTP 请求，BeautifulSoup 用于解析 HTML 内容。
2. 目标URL：定义了一个变量 url，表示我们要爬取的目标网页。
3. 发送请求：使用 requests.get(url) 发送 GET 请求获取网页内容，并将响应存储在 response 变量中。
4. 检查请求是否成功：通过检查 response.status_code 是否为 200 来确认请求是否成功。
5. 解析网页内容：如果请求成功，使用 BeautifulSoup 解析网页内容，并查找所有的 <h1> 标签。
6. 打印标题：遍历找到的所有 <h1> 标签，并打印它们的文本内容。

希望这个简单的示例能帮助你入门 Python 爬虫！