150万页面的网站，99%的流量是爬虫来的
一个150万页面的网站，流量里99%是爬虫。

这是对抗了整整一年之后的数字。

AI训练数据的需求现在大了不知道多少倍，150万页面对爬虫来说是个优质目标，抓完就走，不管服务器压力。

我自学写代码的时候做过一个小工具，被人爬了，服务器费用冲顶了一次。在群里看到有人批量调用我的API，限流封IP折腾了两三天。那个规模跟150万页面比是毛毛雨，就已经很烦了。

封IP这条路走不了多久，自动化爬虫会排队换地址。验证码有效一阵子，后来打码平台报价低得不像话，人工解码的速度比你封的快。

让抓取成本超过收益，执行起来比说起来难多了。直接跟AI公司谈数据授权协议，这种案例越来越多，但条件怎么谈各家情况不一样，数据够不够稀缺、平台够不够硬，才能决定筹码在哪里。
网络爬虫 建站 服务器 AI数据 独立开发 程序员