python3中urllib.request模块提供的urlretrieve()函数。urlretrieve()方法直接将远程数据下载到本地。

urlretrieve(url, filename=None, reporthook=None, data=None)

* 参数url:下载链接地址
* 参数filename:指定了保存本地路径(如果参数未指定,urllib会生成一个临时文件保存数据。)
* 参数reporthook:是一个回调函数,当连接上服务器、以及相应的数据块传输完毕时会触发该回调,我们可以利用这个回调函数来显示当前的下载进度。
* 参数data:指post导服务器的数据,该方法返回一个包含两个元素的(filename, headers) 元组,filename
表示保存到本地的路径,header表示服务器的响应头
将baidu的html抓取到本地,保存在''./baidu.html"文件中,同时显示下载的进度。
#!/usr/bin/env python # coding=utf-8 import os from urllib.request import
urlretrieve def cbk(a,b,c): '''''回调函数 @a:已经下载的数据块 @b:数据块的大小 @c:远程文件的大小 '''
per=100.0*a*b/c if per>100: per=100 print('%.2f%%' % per)
url='http://www.baidu.com' dir=os.path.abspath('.')
work_path=os.path.join(dir,'baidu.html') urlretrieve(url,work_path,cbk)


下面是urlretrieve()下载文件的实例,可以显示下载进度。

 
#!/usr/bin/env python # coding=utf-8 import os import urllib def cbk(a,b,c):
'''回调函数 @a:已经下载的数据块 @b:数据块的大小 @c:远程文件的大小 ''' per=100.0*a*b/c if per>100:
per=100 print '%.2f%%' % per
url='http://www.python.org/ftp/python/2.7.5/Python-2.7.5.tar.bz2'
dir=os.path.abspath('.') work_path=os.path.join(dir,'Python-2.7.5.tar.bz2')
urllib.urlretrieve(url,work_path,cbk)
 



 

复杂点可以参考https://blog.csdn.net/zzc15806/article/details/79636417
<https://blog.csdn.net/zzc15806/article/details/79636417>,作者: zzc15806
<https://blog.csdn.net/zzc15806>

下载cifar-10数据集为例,理解urlretrieve的用法

下面以下载cifar-10数据集为例,理解urlretrieve的用法:
from urllib.request import urlretrieve import os def download(url,
savepath='./'): """ download file from internet :param url: path to download
from :param savepath: path to save files :return: None """ def reporthook(a, b,
c): """ 显示下载进度 :param a: 已经下载的数据块 :param b: 数据块的大小 :param c: 远程文件大小 :return:
None """ print("\rdownloading: %5.1f%%" % (a * b * 100.0 / c), end="") filename
= os.path.basename(url) # 判断文件是否存在,如果不存在则下载 if not
os.path.isfile(os.path.join(savepath, filename)): print('Downloading data from
%s' % url) urlretrieve(url, os.path.join(savepath, filename),
reporthook=reporthook) print('\nDownload finished!') else: print('File already
exsits!') # 获取文件大小 filesize = os.path.getsize(os.path.join(savepath, filename))
# 文件大小默认以Bytes计, 转换为Mb print('File size = %.2f Mb' % (filesize/1024/1024)) if
__name__ == '__main__': # 以下载cifar-10数据集为例 url =
"https://www.cs.toronto.edu/~kriz/cifar-10-python.tar.gz" download(url,
savepath='./')
当指定文件夹下不存在待下载文件时,执行下载:
Downloading data from https://www.cs.toronto.edu/~kriz/cifar-10-python.tar.gz
downloading: 100.0% Download finished! File size = 162.60 Mb
当指定文件夹下已存在待下载文件同名文件,则不执行下载:
File already exsits! File size = 162.60 Mb
urlopen()可以轻松获取远端html页面信息,然后通过Python <http://lib.csdn.net/base/11>
正则对所需要的数据进行分析,匹配出想要用的数据,再利用urlretrieve()将数据下载到本地。对于访问受限或者对连接数有限制的远程url地址可以采用proxies(代理的方式)连接,如果远程连接数据量过大,单线程下载太慢的话可以采用多线程下载,这个就是传说中的爬虫

友情链接
ioDraw流程图
API参考文档
OK工具箱
云服务器优惠
阿里云优惠券
腾讯云优惠券
华为云优惠券
站点信息
问题反馈
邮箱:ixiaoyang8@qq.com
QQ群:637538335
关注微信