腾讯新闻、知乎话题、微博粉丝，Tumblr爬虫、斗鱼弹幕、妹子图爬虫、分布式设计等
关于5000+站点的scrapy爬虫开发，涉及一些技术架构搭建以及各种反爬方案，详见readme文件
scrapy-redis-sentinel 基于 scrapy-redis 的基础上 新增 哨兵（sentinel）连接模式 以及 集群（cluster）连接模式。
Scrapy Redis with Bloom Filter，support redis sentinel and cluster
基于scrapy-redis scrapy-splash的通用爬虫（包括ajax请求的数据）
利用Fiddler抓包分析毒舌影评社区的APP api接口。单机版的scrapy爬虫，基于scrapy-redis
SearchForProgrammer（爬虫模块）
A parser engine born for scrapy
爬取当当网的图书条目，使用Scrapy-Redis/MongoDB实现的一个分布式网络爬虫,底层存储MongoDB,分布式使用scrapy-Redis实现
This project demonstrates a distributed web scraping setup using Scrapy, Celery, Redis, and scrapy-redis, enabling efficient and scalable data extraction across multiple nodes. Ideal for high-performance scraping tasks.
Add a description, image, and links to the scrapy-redis topic page so that developers can more easily learn about it.
To associate your repository with the scrapy-redis topic, visit your repo's landing page and select "manage topics."