使用Selenium驱动浏览器高效爬取动态网页内容

对于静态网页来说，使用requests等库可以很方便的得到它的网页源代码，然后提取出想要的信息。但对于动态网页来说，情况就复杂得多。此类页面的源代码通常只有一帧，其内容由 JavaScript 渲染。这时候我们就可以使用selenium直接驱动浏览器进行爬取。

Selenium是一个自动化测试工具，可以驱动浏览器执行一系列操作并获取当前渲染网页的源代码。对于抓取动态页面非常有效。下面讲一下selenium的简单使用。

一、安装 1.selenium

建议直接使用pip安装：

pip install selenium

2.Chrome驱动程序

Selenium 是一个自动化测试工具，需要与浏览器驱动程序一起使用。以Chrome浏览器为例，您首先需要下载对应浏览器版本的驱动程序。版本对比可以在chromedriver和chrome版本映射表中查看。另外，Chrome版本70以上可以根据浏览器版本直接去ChromeDriverMirror下载。

下载完成后，需要将可执行文件配置到环境变量中。在Windows系统上，可以直接将chromedriver.exe文件拖到Python环境的scripts目录下，也可以将其路径配置到系统环境变量中。在Linux系统上，您可以直接将chromedriver.exe文件拖到python环境的scripts目录中。将可执行文件移至环境变量目录： sudo mv chromedriver /usr/bin

配置完成后，直接在命令行输入chromedriver。如果有如下输出则说明环境配置成功：