使用西瓜助手和WebScraper免费抓取公众号历史文章

2019.10.13 -

- -

有一天,需要爬取某个公众号的历史数据,又不想花钱,所以研究了下WebScraper,成功地抓取到了近一年的所有文章数据,没花一分钱(西瓜助手应该需要先成为会员,不确定费用多少,我是通过活动免费领取的)。

一、抓取逻辑

因为WebScraper是一个最常用的网页爬虫(对WebScraper不熟悉的同学可能先要去搜两篇文章看看它的基础用法),简单地说就是只要你给他一个网页,他就能把里面的内容都给抓下来。

但是,由于反爬的考虑,微信对公众号历史文章显示的限制越来越严,搜狗浏览器、微信客户端等地方都无法查看到完整的文章列表。

有些免费工具,比如微小宝可以查看7天的文章,但是我要研究的这个公众号更新频率很低,一个月才发5-6次,近七天的文章也就1-2篇,根本满足不了需求。

当然,还有一些网站,类似传送门,会帮你收集好历史文章,但是仅限于一些热门公众号,而且很多公众号的文章都比较旧。

后来,无意中看到「西瓜助手」中可以查看一年的历史数据,而且是网页形式,所以想着和WebScraper结合起来试试,果然成功了,特分享给大家。

注意:很多工具,包括微信自身在内,提供的功能经常会变,如果你阅读的时候发现这个方法不行了,也麻烦告诉我一声,我好找一找新的方法。

二、使用西瓜助手获取公众号历史文章列表

1、登录西瓜助手

2、点击左侧导航栏里的“素材收集”——“全网优质素材”,然后在右面界面的输入框(下图2)中输入公众号,然后点击【搜公众号】。

16797741-b74dbb3412916f9e

3、在搜索结果列表中选择你要找的公众号,点击即可打开公众号详情页面。

4、在页面下方有个“最新推文”tab,里面可以查看最新的公众号文章,点击下方【加载更多历史文章…】按钮可以显示更多的历史文章。

三、WebScraper的核心逻辑和工作步骤

1、WebScraper爬虫的核心逻辑

WebScraper抓取的核心逻辑在于选择器的设置,比如最简单的文本(Text)、超链接(Link),到表格(Table)、图像(Image),然后是复杂些的元素集(Element),以及这些基本类型的变体,比如弹出的超链接(Popup Link),点击加载更多的元素集(Element Click,这次我们就要用到这位)。

背后的逻辑其实也很简单:因为HTML是结构化的,页面是由很多tag组成的,而且这些tag间是有层次的,设置选择器就相当于告诉WebScraper要去抓哪个(哪类)tag,它是什么类型,处在哪个层次。

2、WebScraper工作步骤

WebScraper是Chrome浏览器里的一个插件,安装完(安装如果遇到问题,可以去搜一下Chrome插件安装的问题解答)之后,爬取一个网页大致需要以下几个步骤:

1)创建站点地图

要去哪里爬取数据

2)配置选择器

要抓页面上哪些内容

3)开爬Scrape

4)导出结果

更多基础介绍,大家可以自行搜索。

四、使用WebScraper抓取数据

1、准备工作

登录「西瓜助手」并打开“最新推文”页面,打开Chrome控制台(快捷键F12),点击Web Scraper打开工作台。

2、创建站点地图

名字(name)取一个方便记的。Start URL就是当前浏览器里显示的地址,直接拷贝过来即可。

16797741-2bf842cb4c249d2b
create new sitemap

创建成功后,你会在“Create new sitemap”菜单前看到一个“Sitemap jiadiany”的菜单,后续所有操作都在这个菜单下进行。

3、配置选择器

在配置选择器之前,需要先分析一下页面,看你要抓取哪些数据,有什么特点,然后可以逐步尝试可行性。

16797741-6cec2250825f27b3
最新推文截图

最新推文是按照时间从近到远排列的,最理想的我们是把整个区域1的数据做一个整体抓取下来,但是后来在选择器选取的时候始终无法选取到区域1,因此只能退而求其次选择了区域2,这里面就把“推文时间”给丢失了,后面在整理数据时我们可以利用一个值来对文章时间排序,但是没有绝对推文时间。

小技巧:在选择区域2的时候也遇到了问题,用鼠标始终无法选定这个区域,所以我们把“Enable key”开关打开,然后先选择一个小的元素,然后通过按键P(选取它的父节点)和C(选取它的子节点)来微调。

16797741-3fb13036968a4f89

确定了要爬取区域2的数据,那我们就知道需要创建一个Element的选择器。同时,注意到这个页面一次性只显示部分数据,需要点击页面底部「加载更多历史文章…」按钮来加载更多数据,因此我们需要用到Element选择器的变体Element click。

省略具体的操作过程,该“Element click”选择器的具体配置如下:

16797741-10c98cbd987a07e7

另外,因为需要抓取区域2里面的“传播指数”(text)、“封面/文章标题”(link)、阅读数(text)、赞数(text,也就是最新的在看数)等数据,因此需要在article下分别创建这些选择器。

相应的选择器图谱和“封面/文章标题”(link)选择器配置如下:

16797741-71d6c58966d1d5bb
Selector graph
16797741-8eb68bcf57fea8a5
titlelink selector

小技巧:选择器创建完之后,在Actions下面有两个按钮“Element preview”和“Data preview”,可以点击模拟一下看选择的元素及数据是否正确。

16797741-9d9d565e9f3ebb9a
Selector Actions

4、开始爬取并导出数据

选择器配置好之后,就可以开始爬取了(点击Scrape菜单),你可以看到插件就好像在模拟人一样浏览这个页面,抓取区域2里面的数据,然后再点击按钮加载更多数据,直至触达停止条件。

爬取完成后,就可以直接导出一个csv文件。至此,整个爬取过程就结束了。

导出的站点地图详情(Json):

{“_id”:”jiadiany”,”startUrl”:[“https://zs.xiguaji.com/Member#/MBiz/Detail/df0d2a/723965″],”selectors”:[{“id”:”article”,”type”:”SelectorElementClick”,”selector”:”div.public-details-content tbody”,”parentSelectors”:[“_root”],”multiple”:true,”delay”:0,”clickElementSelector”:”div.loadingMorePanel a.btn”,”clickType”:”clickMore”,”discardInitialElements”:false,”clickElementUniquenessType”:”uniqueCSSSelector”},{“id”:”index”,”type”:”SelectorText”,”selector”:”tr:nth-of-type(1) span.risk-index”,”parentSelectors”:[“article”],”multiple”:false,”regex”:””,”delay”:0},{“id”:”titlelink”,”type”:”SelectorLink”,”selector”:”tr:nth-of-type(1) div.mp-article-title a”,”parentSelectors”:[“article”],”multiple”:false,”delay”:0},{“id”:”readcnt”,”type”:”SelectorText”,”selector”:”tr:nth-of-type(1) td:nth-of-type(5)”,”parentSelectors”:[“article”],”multiple”:false,”regex”:””,”delay”:0},{“id”:”rank”,”type”:”SelectorText”,”selector”:”tr:nth-of-type(1) td:nth-of-type(6)”,”parentSelectors”:[“article”],”multiple”:false,”regex”:””,”delay”:0}]}

五、数据处理

打开CSV文件,我们可以简单对数据进行处理,以便更好地分析。

1、按照字段“web-scraper-order”排序(这个字段的意思是WebScraper采集的顺序,也就是文章的时间顺序)。

2、将阅读数10001+(文本)替换成数字10001,以便我们进行统计。

3、标题和正文,我们可以进一步用NLPIR工具进行处理。

有任何问题,欢迎提出来一起讨论研究。

- END -

- -

47
0

月成交从470w到7000w,直播唤活全国最大“和田玉”市场

有一天,需要爬取某个公众号的历史数据,又不想花钱,所以研究了下WebScraper,成功地抓取到了近一年的所有文章数据,没花一分钱(西瓜助手应该需要先成为会员,不确定费用多少,我是通过活动免费领取的)。 一、抓取逻辑 因为WebScrape […]