yzqzss|一座桥在水上's Note
阿里 AI 小爬虫用请求击落 MediaWiki 站点。 时不时就有 AI bot 来爬我托管的 osm.bio (cpu 高于 10% 的都是 AI bot 加快爬取速度造成的) 爬内容页就算了吧，这些 bot 像是 zz 一样，怼着一些奇奇怪怪的非内容页爬，唯一的作用就是拿到一堆没用的页面，然后锻炼我的 CPU。🤪🤪 最近 7 天，AI bot 确实越来越猖獗了。 真的大量(80~99%)来自 Alibaba 的 ip。 附赠节能 ip 桌子：https://www.enjen.net/asn-…
正常用户很少去点那些不常用的查询功能。
但是这些 AI bot 爬虫可一点都不 AI，得劲地点一切能点的东西，倒查页面历史到 1970。
平均每 request 造成的 load 比人类高许多。
我之前懒得管，反正没造成宕机，但是最近7天阿里不要脸了，跟 CC 没啥两样。但凡它做点 feedback loop 退避机制也好。
最近1天的 CPU 占用中位数是 30%，屏蔽阿里ASN后，现在只有 7% 的占用。
这还只是一个不知名的小站。并且服务器上还有其它网站和东西在跑。
但是这些 AI bot 爬虫可一点都不 AI，得劲地点一切能点的东西，倒查页面历史到 1970。
平均每 request 造成的 load 比人类高许多。
我之前懒得管，反正没造成宕机，但是最近7天阿里不要脸了，跟 CC 没啥两样。但凡它做点 feedback loop 退避机制也好。
最近1天的 CPU 占用中位数是 30%，屏蔽阿里ASN后，现在只有 7% 的占用。
这还只是一个不知名的小站。并且服务器上还有其它网站和东西在跑。
tgoop.com/yzqzss_note/1014
Create:
Last Update:
Last Update:
正常用户很少去点那些不常用的查询功能。
但是这些 AI bot 爬虫可一点都不 AI，得劲地点一切能点的东西，倒查页面历史到 1970。
平均每 request 造成的 load 比人类高许多。
我之前懒得管，反正没造成宕机，但是最近7天阿里不要脸了，跟 CC 没啥两样。但凡它做点 feedback loop 退避机制也好。
最近1天的 CPU 占用中位数是 30%，屏蔽阿里ASN后，现在只有 7% 的占用。
这还只是一个不知名的小站。并且服务器上还有其它网站和东西在跑。
但是这些 AI bot 爬虫可一点都不 AI，得劲地点一切能点的东西，倒查页面历史到 1970。
平均每 request 造成的 load 比人类高许多。
我之前懒得管，反正没造成宕机，但是最近7天阿里不要脸了，跟 CC 没啥两样。但凡它做点 feedback loop 退避机制也好。
最近1天的 CPU 占用中位数是 30%，屏蔽阿里ASN后，现在只有 7% 的占用。
这还只是一个不知名的小站。并且服务器上还有其它网站和东西在跑。
BY yzqzss|一座桥在水上's Note
Share with your friend now:
tgoop.com/yzqzss_note/1014