1.从网上下载一个别人写好的布隆去重py文件

百度网盘:https://pan.baidu.com/s/1KbK4WAWxAQnslIomAoQSiw 密码:gld0

2.如果要想指定项目启动布隆去重的话


找到环境下的路径E:\ENVS\JobDataScrapyEnv\Lib\site-packages文件夹,找到scrapy_redis,单独复制到需要布隆去重的项目中




在把下载好的布隆去重文件BloomfilterOnRedis.py复制到scrapy_redis中,然后打开dupefilter.py文件




打开dupefilter文件后,首先引入一个类




然后在初始化函数中添加self.bf = BloomFilter(server=server,key=key)




然后修改requests_seen函数