Scrapy搭建爬虫项目 - 好文

1.输入workon命令，进入已经设置好的一个虚拟环境。
2.安装scrapy框架:pip install scrapy
3.安装本地Twisted的wheel文件(上一篇博客有下载地址和安装方法)
https://blog.csdn.net/qq_40655579/article/details/83002590
<https://blog.csdn.net/qq_40655579/article/details/83002590>
4.scrapy startproject 项目名称
按照提示命令执行
cd 项目名称 genspider spider 爬虫名域名
5.scrapy crawl 爬虫名# 执行爬虫
第一次执行很可能会报错，出现No module named ‘win32api’

执行 pip install pypiwin32下载即可