Tegenaria crawl framework

tegenaria是一个基于golang开发的快速、高效率的网络爬虫框架

特性

• 支持分布式

• 支持自定义分布式组件,包括去重、request缓存队列和基本统计指标的分布式运行

• 支持自定义的事件监控

• 支持命令行控制

• 支持gRPC和web api远程控制

• 支持定时轮询启动爬虫

  安装

1. go 版本要求>=1.19

go get -u github.com/wetrycode/tegenaria@latest

2. 在您的项目中导入

import "github.com/wetrycode/tegenaria"

快速开始

查看实例demo example

文档

• 入门

TODO

• 管理WEB API

Contribution

Feel free to PR and raise issues.
Send me an email directly, vforfreedom96@gmail.com

License

MIT © wetrycode