feapder v1.7.7

更新

1. AirSpider 支持设置内存任务队列最大缓存的任务数

   # 内存任务队列最大缓存的任务数，默认不限制；仅对AirSpider有效。
   TASK_MAX_CACHED_SIZE = 0
   

2. 新增TaskSpider爬虫，内部封装了取种子任务的逻辑，内置支持从redis或者mysql获取任务，也可通过自定义实现从其他来源获取任务

Bug Fixes

1. 修复 request.copy()的bug

feapder v1.7.6

Bug Fixes

1. 修复去重库bug

feapder v1.7.5

更新

1. 去掉锁的，允许同时生产cookie
2. 优化collector
3. 修改默认webdriver的配置，避免selenium被检测到
4. 支持飞书报警
5. response 支持from_text
6. 默认开启自动适配浏览器版本
7. 修改爬虫并发数的默认值为32
8. 优化框架核心调度，加快调度速度且减少CPU占用

Bug Fixes

1. 修复浏览器渲染模式下，没拼接params的bug
2. 修复redis锁的bug
3. 修复download_midware指定多个时，序列化报错问题

feapder v1.7.3

更新

1. 支持自动安装 selenium驱动
2. redisdb 支持统计redis使用情况
3. feapder 支持zip压缩命令，会过滤掉.git .pyc等无用的文件及文件夹（压缩项目 上传到feaplat很方便）
4. 命令行工具改为从剪切板读取内容，解决内容过长控制台不能输入问题
5. 浏览器渲染添加xhr_data函数

Bug Fixes

1. 修复去重库 redis连接问题

feapder v1.7.2

更新

1. 浏览器渲染模式-chrome 支持指定下载保存路径
2. 优化邮件报警：当收件人为多人时收件人处显示为多人
3. 爬虫集成支持传参
4. 浏览器渲染模式支持拦截XHR数据

Bug Fixes

1. 修复打点监控已知问题

feapder v1.7.1

更新

1. cookie池改为用户池，更易使用，详见：https://boris.org.cn/feapder/#/source_code/UserPool
2. 兼容maria数据库
3. 以扩展的方式提供pgsql入库管道，详见：https://github.com/Boris-code/feapder_pipelines

Bug Fixes

1. 修复mongo更新bug
2. 修复创建item bug

feapder v1.7.0

更新

1. 适配python3.10
2. 加强时间格式化工具函数

feapder v1.6.9

更新

1. 优化LoginCookiePool cookie池
2. mongo 支持 url连接方式
3. mongodb 更新数据时 完善获取更新条件的鲁棒性

Bug Fixes

1. mysql 修复to_json和limit=1同时用时逻辑bug

feapder v1.6.8

更新：

1. pipelines支持close方法

Bug Fixes

1. 修复mongo pipeline 更新数据Bug

feapder v1.6.7

更新

1. 优化redis锁
2. 支持cookie池
3. response支持给text重新赋值，应对浏览器渲染重新加载页面源码的场景
4. log支持方法提示
5. 框架主线程异常捕获，防止某个线程崩溃导致爬虫卡死
6. 支持更细粒度的去重配置
7. 修改main函数启动模板
8. request支持获取代理及ua
9. 命令行支持 feapder create --params
10. 生成的item 显式的指定table_name，防止自动提取表名时提取错误
11. 下载中间件支持指定多个

Bug Fixes

1. 修复redis集群transaction参数不再支持的问题