关于微信公众号的数据的采集（文章、阅读/点赞、评论）

Question

如题所述

Answer 1

<p> 近期，公司有相关公众号爬取的需求，摸索了一段时间，一开始使用搜狗微信去取数据，但随着后续搜狗的验证码机制越发恶心，用户体验极差，并且也无法取到历史数据，只能取到近10条群发，这也预示着通过搜狗微信爬取数据的方案对于我来说只能是一霎花火。</p>
<p> 下面这套方案是基于微信客户端进行数据的爬取的，实际上我很久之前就一直在使用了，只是一直没有时间写，现在抽空把整套方案梳理一遍，后续也会push到github上面去。</p>
<p> 或许你有更好的方法，欢迎在评论里留言，一起交流学习。</p>

一、前提
1.一个微信号一天只能最多获取8000篇文章的阅读/点赞信息；
2.微信公众号发文频率（一条群发消息包含8篇以内文章）；
服务号1个月（按自然月）内可发送4条群发消息；
订阅号（认证用户、非认证用户）1天内可群发1条消息；

二、获取公众号文章信息所需参数
步骤如下：
1.获取微信号与公众号对应信息（抓包获取，且除文章内容外每一步骤均需要以下参数）

2.获取公众号文章列表

3.获取文章内容（永久链接）
4.获取点赞数/阅读数

5.获取评论内容

三、实施
待更...

Answer 2

八爪鱼采集器可以帮助您采集微信公众号的数据，包括文章、阅读量、点赞数和评论等信息。您可以使用八爪鱼采集器的自定义模式来制定规则，以采集所需的数据。以下是一般的采集步骤：1. 打开八爪鱼采集器，并创建一个新的采集任务。2. 在任务设置中，输入搜狗微信的网址（[https://weixin.sogou.com/](https://weixin.sogou.com/)）作为采集的起始网址。3. 配置采集规则。可以使用自定义模式，通过选择页面上的数据元素，如文章标题、阅读量、点赞数和评论等，并设置相应的采集规则，以确保正确获取所需的数据。4. 设置翻页规则。由于搜狗微信的搜索结果可能分页显示，需要设置八爪鱼采集器自动翻页，以获取更多的数据。5. 运行采集任务。确认设置无误后，可以启动采集任务，让八爪鱼开始采集微信公众号的数据。6. 等待采集完成。八爪鱼将根据设置的规则自动抓取页面上的数据，并将其保存到本地或导出到指定的数据库等。八爪鱼采集器支持多种数据导出方式，您可以根据需要选择合适的方式进行数据分析和处理。八爪鱼可以实时采集社交媒体数据，包括微信公众号、抖音、微博、知乎、小红书、B站、豆瓣、各类垂直行业论坛贴吧等。请前往官网了解更多详情。