GitHub - jakejie/jianshuCrawl-Scrapy-Redis: 简书网站分布式爬虫系统运行环境：win10+redis+mysql+python3.6 联系 794564669@qq.com

jakejie / jianshuCrawl-Scrapy-Redis Public

Notifications You must be signed in to change notification settings
Fork 3
Star 7

简书网站分布式爬虫系统运行环境：win10+redis+mysql+python3.6 联系 794564669@qq.com

Notifications

Name		Name	Last commit message	Last commit date
Latest commit History 7 Commits
.idea		.idea
jianshuspider		jianshuspider
README		README
Scrapy-1.5.0-py2.py3-none-any.whl		Scrapy-1.5.0-py2.py3-none-any.whl

Repository files navigation

# js
简书网站分布式爬虫系统

运行环境：win10+redis+mysql+python3.6





使用scrapy-redis

使用本地redis服务

在启动第二个slave客户端的时候，有时候会抓不到数据，但是，重新启动一下就可以了。

至于这个是为啥，暂时还没找到原因。。

猜测是因为：我是在同一台win10机器上运行的，同一个IP。进行多并发。

简书网数据量挺大，进行分布式时，master机器内存要求比较高。

不然，可能导致内存不够用而报错异常。