凌晨三点，你还盯着电脑屏幕，爬虫跑了还没一小时就直接挂了。打开日志一看，全是403 Forbidden，不用想，IP又被封了。干数据采集这行的，对这场景再熟悉不过了。刚换的代理IP，还没爬多少内容就报废，问题真不是你IP数量不够，而是你太心急了。

请求间隔，直接决定爬虫能活多久

网站的服务器可不是无限容量的池子，你一秒钟扔十几个请求过去，就跟现实里有人在超市货架上疯狂抢东西一样，保安不抓你抓谁？反爬系统最基础、也最管用的检测方式，就是看你的请求频率。只要单位时间请求数超标，二话不说直接拉黑。

这也是玩爬虫最基本的素养：设置合理的请求间隔。别觉得等几秒无所谓，这不光是礼不礼貌的问题，直接决定你能不能顺利拿到数据。

单机跑爬虫倒简单，在settings.py里配个`DOWNLOAD_DELAY`，比如设2秒，自己控制好节奏就行。可一旦爬虫上了规模，问题就来了。假设你有10个节点同时跑，每个都设2秒间隔，在目标网站看来，每秒都会收到5次请求，直接就超载了。更坑的是，不同节点还可能在同一毫秒同时发请求，形成请求高峰，一下就触发防护机制。

所以分布式爬虫一定要做全局协调，不能各个节点各自为政，必须有个总调度来统一管控。

常用的方案就是用Redis做全局状态中心，记下每个域名最后一次请求的时间。每个节点发请求前，先去Redis查一查，距离上一次请求有没有满设定的秒数，没到时间就等着，时间够了再发送，发完再更新时间戳。这样不管你开多少节点，在网站眼里，请求节奏始终很正常。

只控间隔没用，IP还得勤轮换

就算请求速度再慢，一直用同一个IP，时间长了照样会被盯上，代理IP池是必不可少的。可很多人用代理的方式都很敷衍，直接把几个IP写死在代码里，失效了再手动替换。这样做不仅累人，IP消耗得还快，多个节点抢用同一个IP，只会让这个IP死得更快。

正确的做法是搭建动态IP池，通过代理服务商的API实时获取IP，存到本地，每次请求随机抽取一个使用。代码里再加上过期机制，超过几分钟的IP自动清理，保证池子里的IP都是可用的。

进阶玩法可以用Redis的有序集合来管理IP，给每个IP打分：请求成功就加分，失败就减分。每次优先选用分数高的IP，要是某个IP频繁报错，分数低于阈值就直接踢出池子。

别让反爬一眼看出你是机器

把频率和IP都搞定后，还有一个容易忽略的点：请求太规律了。真人浏览网页根本不会掐着秒表，看篇文章可能停十几秒，翻页两三秒，偶尔起身倒杯水，间隔会更长。可爬虫要是固定2秒发一次请求，时间曲线特别整齐，反爬系统一眼就能识别出是机器。

解决办法就是把间隔随机化，别固定2秒，用`random.uniform(1, 3)`生成1到3秒的随机数就行。更逼真的是分层随机：大部分请求间隔在2-4秒，每10次里加一次8-10秒的长间隔，模拟人暂时离开的状态。

一旦碰到429请求过多或者503状态码，就说明网站已经在警告了，这时候要主动放慢速度，拉长间隔，等风控松了再继续爬。

遇到错误别死磕，要懂得及时换方案

再好的代理IP，也有失效的时候，代码里一定要做好容错处理。简单的逻辑就是：请求超时、连接失败、返回403/503时，立即重试，并且重试时更换新IP。重试次数不用多，三次就够。如果三次都失败，要么是IP池快空了，要么是网站彻底封禁，这时候要及时发告警，而不是一直硬跑。

现在不少代理服务商都有隧道代理，你只需要往固定地址发请求，后台会自动分配IP，不用自己维护IP池，适合不想折腾底层逻辑的人。

写在最后

做爬虫，本质就是在打扰别人和获取数据之间找平衡。每一次请求，都会占用对方的服务器资源，技术对抗归技术对抗，基本规则还是要遵守，robots.txt该看就看，请求频率该控就控。

真想做大规模的数据采集，别总想着走捷径。合理的请求间隔、动态IP轮换、模拟真人的随机请求节奏，再加上完善的容错机制，这套组合拳用好了，爬虫才能跑得长久、跑得稳定。

数据一直都在，不用急于一时，慢慢来，反而更快。