Python网络爬虫实战：从零抓取网页数据

在这个信息爆炸的时代，数据成为了最宝贵的资源之一。作为一名数据爱好者，掌握网络爬虫技术无疑是获取数据的利器。今天，我们将从零开始，手把手教你如何使用Python编写一个简单的网络爬虫，抓取网页数据。

准备工作

在开始之前，我们需要做一些准备工作：

安装Python：确保你的电脑上已经安装了Python环境。可以从Python官网下载并安装。
安装必要的库：我们将使用requests和BeautifulSoup这两个库来帮助我们抓取和解析网页数据。可以通过以下命令安装：
```
pip install requests beautifulsoup4
```

第一步：发送请求

首先，我们需要向目标网页发送请求，获取网页内容。这里我们以抓取豆瓣电影排行榜为例。

import requests

url = 'https://movie.douban.com/top250'
response = requests.get(url)

# 检查请求是否成功
if response.status_code == 200:
    print("请求成功！")
else:
    print("请求失败，状态码：", response.status_code)

第二步：解析网页

获取到网页内容后，我们需要解析这些内容，提取出我们感兴趣的数据。这里我们使用BeautifulSoup库来进行解析。

from bs4 import BeautifulSoup

# 解析网页内容
soup = BeautifulSoup(response.text, 'html.parser')

# 提取电影信息
movies = soup.find_all('div', class_='item')
for movie in movies:
    title = movie.find('span', class_='title').text
    rating = movie.find('span', class_='rating_num').text
    print(f"电影名称：{title}, 评分：{rating}")

第三步：保存数据

提取出的数据可以保存到文件中，以便后续使用。这里我们将数据保存到CSV文件中。

import csv

# 创建CSV文件并写入数据
with open('douban_top250.csv', 'w', newline='', encoding='utf-8') as file:
    writer = csv.writer(file)
    writer.writerow(['电影名称', '评分'])
    for movie in movies:
        title = movie.find('span', class_='title').text
        rating = movie.find('span', class_='rating_num').text
        writer.writerow([title, rating])

print("数据保存成功！")

进阶：处理分页

很多时候，我们需要抓取的数据分布在多个页面中。这时，我们需要处理分页问题。以下是处理分页的一个简单示例：

def fetch_page(url):
    response = requests.get(url)
    if response.status_code == 200:
        return response.text
    else:
        return None

def parse_page(html):
    soup = BeautifulSoup(html, 'html.parser')
    movies = soup.find_all('div', class_='item')
    movie_list = []
    for movie in movies:
        title = movie.find('span', class_='title').text
        rating = movie.find('span', class_='rating_num').text
        movie_list.append([title, rating])
    return movie_list

base_url = 'https://movie.douban.com/top250'
all_movies = []

for start in range(0, 250, 25):
    url = f"{base_url}?start={start}"
    html = fetch_page(url)
    if html:
        all_movies.extend(parse_page(html))

# 保存数据
with open('douban_top250_all.csv', 'w', newline='', encoding='utf-8') as file:
    writer = csv.writer(file)
    writer.writerow(['电影名称', '评分'])
    for movie in all_movies:
        writer.writerow(movie)

print("所有数据保存成功！")