[建议] 内置各大搜索引擎蜘蛛爬虫的 IP 库

[safe1ine]

背景与遇到的问题

No response

建议的解决方案

No response

[zclaiqcc]

我理解原始场景是希望对这些 IP 进行加白对吧？内置 IP 库应该也很难解决这个问题，先不考虑 IP 库是否频繁变动，IP 加白是需要创建一条自定义规则才行，同时需要站点配置正确的「源 IP 获取方式」，感觉比较麻烦。不如直接网上找一份爬虫的 UA 白名单列表简单一些。

不过这个 IP 列表有推荐的么？来一份（伸手 😄

[safe1ine]

对 UA 加白不太靠谱，UA 容易伪造，会被作为绕过 WAF 的手段。

有些搜索引擎会提供相关的列表，还有一些社区收集的，比如

• http://www.so.com/help/spider_ip.html
• https://www.pdflibr.com/crawler/googlebot
• https://zhuanlan.zhihu.com/p/449238902
• https://www.ymui.cn/363.html

[fangpsh]

1. 先配置IP组

2. 加白放行

IP列表收集整理，写了一个笔记：https://fangpsh.github.io/posts/2023/2023-11-10.html
可以自行维护。

[Lorna0]

搜索引擎的放行，用官方提供的 IP 列表比较好。但是 IP 一般都是动态的，经常调整，社区版不方便内置，暂时还没想到很合适的办法。需求比较紧急的师傅可以先手动根据需要配置一下 IP 组。

[ClearSeve]

可以跟 长亭社区恶意IP情报 一样提供定时更新

[fangpsh]

可以跟 长亭社区恶意IP情报 一样提供定时更新

好主意。IP 组如果支持从外部订阅的话，各位师傅可以一起在 github 上维护一个列表。玩法更多了。

[Lorna0]

4.0.0 已发布，可以尝试一下。