python爬虫之腾讯视频vip下载

<>运行环境

IDE：pycharm
python：3.6.5

<>实现目的

实现对腾讯视频目标url的解析与下载，由于第三方vip解析，只提供在线观看，隐藏想实现对目标视频的下载

<>实现思路


首先拿到想要看的腾讯电影url,通过第三方vip视频解析网站进行解析，通过抓包，模拟浏览器发送正常请求，通过拿到缓存ts文件，下载视频ts文件，最后通过转换为mp4文件，即可实现正常播放

<>源码
# 2018.8.14 import re import os,shutil import requests,threading from
urllib.request import urlretrieve from pyquery import PyQuery as pq from
multiprocessing import Pool class video_down(): def __init__(self,url): #
拼接全民解析url self.api='https://jx.618g.com' self.get_url =
'https://jx.618g.com/?url=' + url #设置UA模拟浏览器访问 self.head = {'User-Agent':
'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko)
Chrome/63.0.3239.132 Safari/537.36'} #设置多线程数量 self.thread_num=32 #当前已经下载的文件数目
self.i = 0 # 调用网页获取 html = self.get_page(self.get_url) if html: # 解析网页
self.parse_page(html) def get_page(self,get_url): try:
print('正在请求目标网页....',get_url) response=requests.get(get_url,headers=self.head)
if response.status_code==200: #print(response.text) print('请求目标网页完成....\n
准备解析....') self.head['referer'] = get_url return response.text except
Exception: print('请求目标网页失败，请检查错误重试') return None def parse_page(self,html):
print('目标信息正在解析........') doc=pq(html) self.title=doc('head title').text()
print(self.title) url = doc('#player').attr('src')[14:]
html=self.get_m3u8_1(url).strip() #self.url = url + '800k/hls/index.m3u8'
self.url = url[:-10] +html print(self.url) print('解析完成，获取缓存ts文件.........')
self.get_m3u8_2(self.url) def get_m3u8_1(self,url): try:
response=requests.get(url,headers=self.head) html=response.text
print('获取ts文件成功，准备提取信息') return html[-20:] except Exception:
print('缓存文件请求错误1，请检查错误') def get_m3u8_2(self,url): try:
response=requests.get(url,headers=self.head) html=response.text
print('获取ts文件成功，准备提取信息') self.parse_ts_2(html) except Exception:
print('缓存文件请求错误2，请检查错误') def parse_ts_2(self,html):
pattern=re.compile('.*?(.*?).ts') self.ts_lists=re.findall(pattern,html)
print('信息提取完成......\n准备下载...') self.pool() def pool(self): print('经计算需要下载%d个文件'
% len(self.ts_lists)) self.ts_url = self.url[:-10] if self.title not in
os.listdir(): os.makedirs(self.title) print('正在下载...所需时间较长，请耐心等待..') #开启多进程下载
pool=Pool(16) pool.map(self.save_ts,[ts_list for ts_list in self.ts_lists])
pool.close() pool.join() print('下载完成') self.ts_to_mp4() def ts_to_mp4(self):
print('ts文件正在进行转录mp4......') str='copy /b '+self.title+'\*.ts
'+self.title+'.mp4' os.system(str) filename=self.title+'.mp4' if
os.path.isfile(filename): print('转换完成，祝你观影愉快') shutil.rmtree(self.title) def
save_ts(self,ts_list): try: ts_urls = self.ts_url + '{}.ts'.format(ts_list)
self.i += 1 print('当前进度%d/%d'%(self.i,len(self.ts_lists)))
urlretrieve(url=ts_urls, filename=self.title + '/{}.ts'.format(ts_list)) except
Exception: print('保存文件出现错误') if __name__ == '__main__': #电影目标url：狄仁杰之四大天王
url='https://v.qq.com/x/cover/r6ri9qkcu66dna8.html' #电影碟中谍5：神秘国度
url1='https://v.qq.com/x/cover/5c58griiqftvq00.html' #电视剧斗破苍穹
url2='https://v.qq.com/x/cover/lcpwn26degwm7t3/z0027injhcq.html'
url3='https://v.qq.com/x/cover/33bfp8mmgakf0gi.html' video_down(url2)
<>视频缓存ts文件

这里都是一些缓存视频文件，每个只有几秒钟播放，最后需要合并成一个mp4格式的视频，就可以正常播放，默认高清下载
注意这里的进度因为使用多进程下载，进度仅供参考，没有确切显示进度，可以进文件夹查看正常进度，可以理解为显示一次进度，下载一个ts文件


<>转换MP4



<>附言


程序人为编写的，它只是某个时间对某个事件的正确执行，信息的提取随目标的变迁而随之发生改变，所以，这个程序不是万能的，上面的程序已不能完全运行，我希望能给大家带来一些启发与思路分析，可以编写一个属于自己的程序，最后祝大家都学有所成

2019年2月25日20:36:02 成功运行
下面是对一个《斗破苍穹》进行维护的一个程序，因为刚才分析的时候就是按照这个来分析的，最后发现不适用于其他链接，其实思路都是一样的，这里只是给大家一个案例参考
#2019年2月25日20:42:15 import re import os,shutil import requests,threading from
urllib.request import urlretrieve from pyquery import PyQuery as pq from
multiprocessingimport Pool import ssl ssl._create_default_https_context = ssl.
_create_unverified_contextclass video_down(): def __init__(self,url): #
拼接全民解析url self.api='https://jx.618g.com' self.get_url =
'https://jx.618g.com/?url=' + url #设置UA模拟浏览器访问 self.head = {'User-Agent':
'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko)
Chrome/63.0.3239.132 Safari/537.36'} #设置多线程数量 self.thread_num=32 #当前已经下载的文件数目
self.i = 0 # 调用网页获取 html = self.get_page(self.get_url) if html: # 解析网页 self.
parse_page(html) def get_page(self,get_url): try: print('正在请求目标网页....',get_url)
response=requests.get(get_url,headers=self.head) if response.status_code==200:
#print(response.text) print('请求目标网页完成....\n 准备解析....') self.head['referer'] =
get_urlreturn response.text except Exception: print('请求目标网页失败，请检查错误重试') return
None def parse_page(self,html): print('目标信息正在解析........') doc=pq(html) self.
title=doc('head title').text().replace(" ","") print(self.title) url = doc(
'#player').attr('src')[14:] print(url) html=self.get_m3u8_1(url).strip() #
#self.url = url + '800k/hls/index.m3u8' # self.url = url[:-10] +html #
print(self.url) print('解析完成，获取缓存ts文件.........') self.parse_ts(html) def
get_m3u8_1(self,url): try: response=requests.get(url,headers=self.head) html=
response.text print('获取ts文件成功，准备提取信息') return html except Exception: print(
'缓存文件请求错误1，请检查错误') def parse_ts(self,html): #print(html) pattern=re.compile(
'(.*?.ts)') self.ts_lists=re.findall(pattern,html) print('信息提取完成......\n准备下载...'
) self.pool() def pool(self): print('经计算需要下载%d个文件' % len(self.ts_lists)) if self
.title not in os.listdir(): os.makedirs(self.title) print(
'正在下载...所需时间较长，请耐心等待..') #开启多进程下载 pool=Pool(16) pool.map(self.save_ts,[ts_list
for ts_list in self.ts_lists]) pool.close() pool.join() print('下载完成') self.
ts_to_mp4() def save_ts(self,ts_list): try: ts_urls = ts_list #self.i += 1 #
print(ts_urls[-1]) print('当前进度%d/%d'%(self.i,len(self.ts_lists))) #
print(self.title + '/{}.ts'.format(self.i)) urlretrieve(url=ts_urls, filename=
self.title + '/{}.ts'.format(ts_urls[-6:-3])) except Exception as e: #print(e)
print('保存文件出现错误') def ts_to_mp4(self): print('ts文件正在进行转录mp4......') str='copy
/b '+self.title+'\*.ts '+self.title+'.mp4' print(str) os.system(str) filename=
self.title+'.mp4' if os.path.isfile(filename): print('转换完成，祝你观影愉快') shutil.
rmtree(self.title) if __name__ == '__main__': #电视剧斗破苍穹 url2=
'https://v.qq.com/x/cover/lcpwn26degwm7t3/z0027injhcq.html' video_down(url2)

• « 上一篇：.NET Core 给使用.NET的公司所带来的机遇
• » 下一篇：iOS蓝牙开发 - BLE(蓝牙4.0)