feapder v1.7.7
更新
- AirSpider 支持设置内存任务队列最大缓存的任务数
# 内存任务队列最大缓存的任务数,默认不限制;仅对AirSpider有效。 TASK_MAX_CACHED_SIZE = 0
- 新增TaskSpider爬虫,内部封装了取种子任务的逻辑,内置支持从redis或者mysql获取任务,也可通过自定义实现从其他来源获取任务
Bug Fixes
- 修复 request.copy()的bug
# 内存任务队列最大缓存的任务数,默认不限制;仅对AirSpider有效。
TASK_MAX_CACHED_SIZE = 0