2017年微信爬虫工具指南：使用Selenium和ChromeDriver自动化采集公众号文章

[id_265027541]id_1396711919]

源代码放在文末。

[id_18[id_772209777]466915]

2017 年 6 月前后，微信官方发布了一篇文章。其大致意思为，以后在发布文章时能够插入其他公众号的文章。基于此，我们便可以获得采集文章的接口。

一、登陆微信公众号

我们在这里通过使用 selenium 加上 chromedriver（chrome 的 webdriver）这种方式来获取登陆所需要的 cookie。如此一来，在之后爬取文章的时候，只需载入这些 cookie 就能够实现登陆。首先，我们打开微信公众平台，然后进行账号的登陆。

我们通过检查来获取登陆的账号、密码元素所在的位置，使用 insepect 这一方式，从而实现自动化登陆的目的。

转化成代码如下：

# 用webdriver启动谷歌浏览器
print("启动浏览器，打开微信公众号登录界面")
driver = webdriver.Chrome(executable_path='/usr/bin/chromedriver') 
# 此处 webdriver 根据自己的环境更改
# 打开微信公众号登录页面
driver.get('https://mp.weixin.qq.com/')
# 等待5秒钟
time.sleep(5)
print("正在输入微信公众号登录账号和密码......")
#清空账号框中的内容
driver.find_element_by_name("account").clear()
#自动填入登录用户名
driver.find_element_by_name("account").send_keys("输入你的公众号账号")
#清空密码框中的内容
driver.find_element_by_name("password").clear()
#自动填入登录密码
driver.find_element_by_name("password").send_keys("输入公众号密码")
# 在自动输完密码之后需要手动点一下记住我
print("请在登录界面点击:记住账号")
time.sleep(5)
#自动点击登录按钮进行登录
driver.find_element_by_class_name("btn_login").click()
# 拿手机扫二维码！
print("请拿手机扫码二维码登录公众号")
time.sleep(20)
print("登录成功")

之后，我们需进行一次重新登陆操作，以保存 cookie。之后，只要载入 cookie 就可以了，无需再进行扫码登陆。以下是相关代码：

# 定义一个空的字典，存放cookies内容
post = {
    }
driver.get('https://mp.weixin.qq.com/')
# 获取cookies
cookie_items = driver.get_cookies()
获取到的 cookies 是以列表形式存在的。需要把这些 cookies 转换为 json 形式，然后将其存入本地一个名为 cookie 的文本当中。
for cookie_item in cookie_items:
	post[cookie_item['name']] = cookie_item['value']
cookie_str = json.dumps(post)
with open('cookie.txt', 'w+', encoding='utf-8') as f:
	f.write(cookie_str)
print("cookies信息已保存到本地")   

之后我们开始文章的爬取。

二、爬取文章

官方描述称，接口隐藏在新建图文素材的插入超链接里。如同之前爬取币乎那样，我们借助 F12 - Network - XHR 去跟踪这几个页面，以获取我们需要配置的请求。

接下来，我们来配置请求参数：

#公众号主页
url = 'https://mp.weixin.qq.com'
#设置headers
header = {
    
    "HOST": "mp.weixin.qq.com",
    "User-Agent": Mozilla/5.0 ，其运行环境为 Windows NT 6.1 且为 WOW64 架构，版本号为 rv:53.0 ，内核为 Gecko/20100101 ，浏览器名称为 Firefox 且版本是 53.0 。
}
#读取上一步获取到的cookies
with open(