小编在百度文章中无意看见了一篇名为“继天佑、杨清柠之后,又一名知名主播被央视点名!网友:支持封杀”的文章,文章主要讲一男子挪用大量公款为冯提莫打赏事件。




小编看了一些网友的评论之后发现,文章标题取得不太合理,其中有不少的网友表示:打赏是男子的事,关冯提莫有什么关系,她不应该背这个锅。







这就引起了小编的好奇,小编想通过对网友的评论内容进行分析,利用数据来说明网友对这件事情的具体态度如何。




巧妇难为无米之炊。第一件事就是要得到这篇文章的全部网友评论。小编想到的第一种方法就是这篇文章应该也是一个HTML页面,利用平常的网页抓取技术应该可以实现。




然而事与愿违,显示在浏览器的页面只有几条评论数据,查看页面源代码也没有找到相关的评论数据。在页面底部还显示“打开百度APP,查看1733条精彩评论”。











没办法,只能利用抓包工具尝试性的抓取下。从网上了解到常用的抓包工具是Fiddler。很遗憾,抓取失败,后来想到可能是百度APP有防抓取的技术吧,试了抓取别的APP中的数据,成功了。




下面就介绍下利用Fiddle抓取APP中数据的方法。




第一步:下载安装Fiddler。




下载地址:链接:https://pan.baidu.com/s/1nQIceyyhsZCH-Qu6Djv1Aw 密码:y2qy。




第二步:配置Fiddler和手机。




先配置Fiddler,打开Fiddler,点击Tools-》Options选项,在HTTPS界面,选中decrypt https
traffic和ignore server certificate errors两项。在Connections界面,选中allow remote
computers to connect,默认监听端口为8888。

















再配置手机端,先使手机和电脑连接同一个WIFI,并修改该wifi网络详情(长按wifi选择->修改网络)->显示高级选项,选择手动代理设置,主机名填写Fiddler所在机器ip,端口填写Fiddler端口,默认8888,如下图。










第三步:测试一下。




利用uc浏览器,搜索“科比图片”,在Fidller中会列出一系列的网页请求,这表明搜索的结果资源来自很多网址。点击其中一个,可以看到具体的请求内容和返回结果。










但是用百度APP看前面的那篇文章时,出现如下问题。










我猜想可能百度APP有防抓包的技术,那如何得到这篇文章中的评论呢,求大神赐教。









友情链接
KaDraw流程图
API参考文档
OK工具箱
云服务器优惠
阿里云优惠券
腾讯云优惠券
华为云优惠券
站点信息
问题反馈
邮箱:ixiaoyang8@qq.com
QQ群:637538335
关注微信