python爬虫入门

# Python爬虫入门示例代码

import requests
from bs4 import BeautifulSoup

# 发送HTTP请求获取网页内容
url = 'https://example.com'  # 替换为你要爬取的网址
response = requests.get(url)

# 检查请求是否成功
if response.status_code == 200:
    # 使用BeautifulSoup解析HTML内容
    soup = BeautifulSoup(response.text, 'html.parser')

    # 找到所有标题标签<h1>
    titles = soup.find_all('h1')

    # 打印所有标题文本
    for title in titles:
        print(title.get_text())
else:
    print("请求失败，状态码:", response.status_code)

解释说明：

1. 导入库：

   • requests：用于发送HTTP请求并获取网页内容。
   • BeautifulSoup（来自bs4库）：用于解析HTML文档。

2. 发送HTTP请求：

   • 使用requests.get(url)发送GET请求，获取指定URL的网页内容。url变量需要替换为你实际要爬取的网址。

3. 检查请求是否成功：

   • 通过检查response.status_code是否等于200来确认请求是否成功。200表示请求成功。

4. 解析HTML内容：

   • 使用BeautifulSoup解析返回的HTML内容，并指定解析器为html.parser。

5. 提取数据：

   • 使用soup.find_all('h1')找到所有的<h1>标签，并打印它们的文本内容。

6. 错误处理：

   • 如果请求失败，打印出失败的状态码。

这个简单的爬虫程序展示了如何使用Python抓取网页内容并提取特定信息。你可以根据需要修改和扩展它，例如添加更多的解析逻辑或处理不同的HTML标签。