Python爬虫入门教程：从基础概念到实战案例，手把手教你抓取淘宝商品和天气预报数据

概述

本文详细介绍了 Python 爬虫入门的相关知识。其中包括爬虫的基本概念，以及开发环境的搭建。还涵盖了基本操作和进阶技巧。文章不仅如此，还提供了多个实战案例，像抓取淘宝商品信息，还有抓取天气预报数据。这些案例能帮助读者更好地理解和应用 Python 爬虫入门技术。

爬虫基础知识介绍什么是网络爬虫

最后通过解析这些数据，提取需要的信息。

爬虫的作用和应用场景

爬虫在多个领域中具有广泛的应用，以下是几个典型的场景：

搜索引擎的核心组成部分是爬虫，它们的作用是抓取互联网上的网页，构建索引，以此来实现快速搜索。

市场调研方面，爬虫能够助力收集竞争对手的市场信息，像产品价格以及市场份额等。在学术研究领域，研究人员可以借助爬虫获取大量的公开数据，以便进行研究分析。关于爬虫的合法性与道德规范。

使用爬虫时要留意合法性与道德规范。其一，务必遵守目标网站的 robots.txt 文件，因其定义了可让爬虫访问和抓取的范畴。其二，要合理地设置爬虫的访问频率，以防给目标网站服务器带来过大压力。其三，要尊重隐私，切不可抓取或处理敏感的个人信息。

Python爬虫开发环境搭建Python版本选择

Python现今有两个主要的版本，分别是 Python 2.x 和 Python 3.x。建议使用 Python 3.x 版本，因为 Python 2.x 已经停止更新了。同时，Python 3.x 提供了较多的新特性，像改进后的语法以及对库的支持等。目前的最新稳定版本为 Python 3.11。

去 Python 的官网下载与对应的操作系统相匹配的安装包并进行安装。将安装包解压，接着按照提示逐步完成安装过程。要验证安装是否成功的话，就打开命令行，然后输入 python --version ，此时应当会显示已安装的 Python 版本号。安装常用库，像 requests、BeautifulSoup、Scrapy 这些。安装 requests 库，它的作用是用于发送 HTTP 请求。

pip install requests

安装 BeautifulSoup 库，此库用于对 HTML 和 XML 文档进行解析。

pip install beautifulsoup4

安装Scrapy库，用于构建更复杂的爬虫：

pip install scrapy

Python爬虫的基本操作网页请求的基本方法

使用 requests 库能够便捷地发送 HTTP 请求。以下是一个简单的示例，用于获取网页内容：

import requests
该 url 为 'https://www.example.com' 。
response = requests.get(url)
如果响应的状态码等于 200 。
    print("请求成功")
    print(response.text)
else:
打印出“请求失败，状态码：”以及 response 的状态码。

解析HTML源代码

解析 HTML 源代码的方法有很多种。在此，以 BeautifulSoup 作为示例来进行演示。BeautifulSoup 具备解析 HTML 文档以及 XML 文档的能力，并且能够提取出有用的信息。

from bs4 import BeautifulSoup
html_content = """


    


    
This is an example paragraph.
    Example Link


"""
使用 BeautifulSoup 库，以 'html.parser' 为解析器，将 html_content 解析为 soup 对象。
print(soup.prettify())

提取所需的信息

解析完 HTML 之后，能够运用 BeautifulSoup 所提供的方法去提取特定的信息。比如，可以提取出所有标签里的 href 属性值。

from bs4 import BeautifulSoup
example_html = """


Link 1
Link 2


"""
soup 是通过 BeautifulSoup 函数，以 'html.parser' 为解析器，对 example_html 进行处理后得到的。
links = soup.find_all('a')
for link in links:
    print(link.get('href'))

Python爬虫进阶技巧处理动态网页

动态网页会使用 JavaScript 来动态加载内容，而传统爬虫没办法直接获取这些数据。此时可以运用 Selenium 库，因为它具备允许模拟浏览器行为的功能，能够加载 JavaScript 并且获取到动态内容。

使用 selenium 库中的 webdriver 模块。
driver = webdriver.Chrome()
driver 访问了 "https://example.com" 。
# 等待页面加载完成
driver.implicitly_wait(10)
# 获取页面内容
driver 获取到了页面的源代码，这个源代码就是 html_content 。
print(html_content)
driver.quit()

使用代理IP

为防止被目标网站封禁，可利用代理 IP 以隐藏真实 IP 地址。requests 库具备通过代理来访问网站的功能。

import requests
proxies = {
“http”为“http://10.10.1.10:3128”。
'https' 对应的是 'http://10.10.1.10:1080'
}
使用 requests 库发送一个 GET 请求到 'https://www.example.com'，并通过 proxies 来设置代理。
print(response.text)

通过JavaScript渲染页面

对于完全动态渲染的页面，能够使用 Headless Chrome 来获取完整渲染后的 HTML 内容。Selenium 具备实现这一功能的能力。

from selenium import webdriver
在 selenium 的 webdriver 模块中，chrome 的 options 类包含了 Options 相关内容
options = Options()
添加了一个参数 '--headless' 。 这个参数被添加到了某个地方 。 它的作用是在特定的情境下以无界面的方式运行相关操作 。 具体来说，就是在执行某些任务时不显示图形界面 ， 而是通过命令行或后台运行的方式进行 。 这样可以在一些不需要图形界面的环境中提高效率或节省资源 。
添加参数 '--disable-gpu' 到 options 中。
我们使用 webdriver.Chrome 并传入 options 参数来创建 driver 对象。
driver.get("https://example.com")
html_content = driver.page_source
print(html_content)
driver.quit()

Python爬虫实战案例实战模拟：抓取淘宝商品信息

抓取淘宝商品信息时，需要借助 Selenium 库去模拟真实用户的浏览器行为。因为淘宝商品的详情页面是动态加载的。

from selenium import webdriver
from bs4 import BeautifulSoup
import time
driver = webdriver.Chrome()
driver 访问了 "https://www.taobao.com" 。
driver 找到了一个元素，该元素的 id 是 "q"，这个元素被赋值给了 search_input
search_input 发送了键值 "Python 书"
driver 找到了具有“search-button”类名的元素，这个元素就是 search_button
search_button.click()
time.sleep(5)  # 等待页面加载
html_content = driver.page_source
soup = BeautifulSoup(html_content, 'html.parser')
通过 soup 找到所有 class 为 'item' 的 div 元素，这些元素被存储在 items 中。
for item in items:
通过 item 找到具有 'div' 标签且类名为 'title' 的元素，然后获取该元素的文本内容，并去除首尾的空白字符
首先找到具有特定 class_为'price'的'div'元素，然后获取该元素的文本内容，最后去除文本内容中的空白字符，将其赋值给变量 price 。
打印出“商品标题：”加上 title ，再打印出“，价格：”加上 price 。
driver.quit()

实战模拟：抓取天气预报数据

抓取天气预报数据可以通过使用 requests 库和 BeautifulSoup 库来实现。以下以天气网站为例：

import requests
from bs4 import BeautifulSoup
该 url 为 'https://www.exampleweather.com/city/Beijing' 。 其指向的是关于北京的天气相关网站地址。 此地址明确指定了城市为北京。 它用于在特定的天气网站平台上获取北京的相关天气信息。
response = requests.get(url)
soup 是通过使用 'html.parser' 来解析 response.text 而得到的
forecast 是通过 soup 找到的具有“forecast”类名的 div 元素。
forecast 找到所有 class 为 'day' 的 div 元素，这些元素被赋值给 days 变量。
for day in days:
在 day 中找到 class 为"date"的元素，然后获取其文本内容并去除首尾空格，将结果赋值给 date
在 day 中查找 class 为'high'的元素，然后获取其文本内容并去除空格，将结果赋值给 high 。
low 等于 day 中查找类名为“low”的元素，并获取其去除空白字符后的文本内容。
打印出以下内容：日期为具体的日期值，最高温度为相应的高温值，最低温度为对应的低温值。

在 Python 爬虫实践中，有一些注意事项可以避免被网站封禁。首先，要设置 User-Agent，模拟浏览器行为，并且可以随机选择不同的 User-Agent。其次，使用代理 IP 时，要定期更换，避免长时间使用同一个 IP。最后，要控制访问频率，设置合理的请求间隔时间，避免在短时间内进行大量请求。- 合理地设计解析逻辑，从而减少无效解析操作。

总结，通过学习上述内容，希望能帮助读者掌握 Python 爬虫的基本知识与技能。涵盖从简单的网页抓取，到复杂的动态网页处理，以及实际应用中的注意事项等方面，让读者能更熟练地运用 Python 进行网络爬虫开发。