当前标签: requests
Requests后用Beautifulsoup找不到指定元素(原来是页面元素被注释)
这个问题是在Requests抓取百度贴吧内容列表时出现，可能在抓取其他某些网页时也会出现这个问题。 在用Requests时大家习惯加上header，这个header往往是Chrome的header。但是加了这个header就会导致页面中大部分html标签被放在了注释里面，后面用Beautifulsoup的find...
2019-03-01 15:01
阅读(305)
Python爬虫基础之 Requests+Xpath 爬取豆瓣电影（二）
我们要爬取豆瓣电影《肖申克的救赎》（如图1所示）上面的一些信息，网站地址是： https://movie.douban.com/subject/1292052/ <https://movie.douban.com/subject/1292052/> 图１ 代码如下： import requests...
2018-12-21 18:11
阅读(1119)
Python——深入理解urllib、urllib2及requests（requests不建议使用？）
在python中有两种方式可以发送http请求： * 通过python自带的urllib模块，不需要安装，直接from urllib import request，直接使用request对象做Http请求的发送。 * 通过第三方的requests模块，需要pip install安装（推荐，因为API人性化）...
2018-07-18 17:51
阅读(5561)