假设你在图书馆上班，领导安排了个跑腿活：跑遍周边所有分馆，手工把各家刚到的新书清单全部抄回来。你骑上电动车按着规划好的路线一家家跑，可路上状况不断。第一家分馆门卫看你眼生，直接摆手不让外人进去；好不容易进到第二家，才抄几十本书，管理员来提醒，说跑动太频繁，影响他人阅读；第三家更无奈，刚踏进大厅，保安就过来请你离开，说是最近有人乱扒资料，外来访客暂时不接待。

换作是谁，都不会直接掉头回去跟领导说任务彻底干不了，肯定得想办法变通。这家不让进就换下一家；系统提示限流，那就原地歇会儿再试；要是当场被拦下来，隔天换身衣服、换辆电动车，假装别的馆同事再过去碰碰运气。

其实爬虫干的活跟这个跑馆抄书单几乎一模一样，相当于线上专门扒公开数据的资料员。但各大网站都有防护手段，专门识别、拦截爬虫，如果程序没做好重试、切换IP的兜底方案，数据采集多半跑一半就卡住。

先说重试逻辑，它可不是出错就一股脑重复发请求，而是分了两层不同的处理方式。

第一层是立刻重试，遇到网络抽风、连接超时这种临时小故障就靠它。好比敲门找人，对方临时没空应答，隔几百毫秒再试一次，大多就能连上。不过即时重试不能设置太多次，两三次就够了。要是网站服务器本身访问量很大、反应迟缓，反复疯狂请求只会加重对方负担，反而更打不开页面。

第二层是延后重试，就是页面提示操作频繁、访问受限的时候用。网站已经察觉到访问节奏不对劲，但还没直接封掉你的访问地址，最好的办法就是拉长间隔，暂缓操作。爬虫会按照预设时间分段等待，5秒、10秒、30秒分次重试，这里有个很实用的小技巧：等待时间慢慢拉长，业内叫指数退避。道理也很好懂，一次没成功不用急着反复刷新，多等一会儿给服务器缓冲，连续几次都失败，就再多等一段时间，免得触发更严格的限制。

如果拉长等待时间还是访问失败，页面跳出403禁止访问，或是直接封IP的提示，这时候就得拿出关键办法——切换代理IP。

代理IP就相当于跑馆时换的衣服和电动车，爬虫通过代理服务器中转访问网站，平台记录到的访问地址是代理IP，不会暴露我们本身的真实网络地址。一旦当前用的IP被限制，程序就会从提前备好的IP池里调出新地址，接着把没做完的数据采集做完。

不过换IP不能随便乱切，合理的切换思路会根据当下情况灵活调整，日常常用的有三种：

第一种，等IP被限制再更换，属于最基础的用法。爬虫检测到当前IP打不开页面，马上标记这个IP暂时失效，从池子里换新IP，重新请求刚才失败的链接，就和前面被分馆保安拦下，直接换一家继续抄清单一个道理。

第二种，提前主动切换IP，算是更稳妥的预防方式。不用等到被限流封禁再补救，提前设好访问上限，比如单个IP一小时最多发起一百次请求，达到数量就自动换新IP。就像在一家分馆抄完规定数量的书单，主动换地方，不等工作人员过来提醒。现在大部分网站不会直接封IP，只会悄悄限制访问速度，提前轮换能大大减少任务中断的概率，爬虫也能稳定运行更久。

第三种，按操作类型分开搭配不同IP，精细化降低风险。登录、提交信息这类敏感操作单独用一组IP；单纯浏览商品、书籍列表用另一批；批量下载图片再单独开一个IP池。就算浏览页面用的IP被限制，登录和核心数据采集也不会受牵连，好比借书、还书、查阅档案分开用不同证件，一处出问题不会全盘崩盘。

说句实在话，整套重试、换IP的逻辑，核心不是跟网站的防护机制硬碰硬，而是尽可能模仿普通人上网的习惯。程序操作越贴近真人，就越难触发限流和封禁，也不用频繁重试、切换IP。正常人不会一秒狂点几十次页面，不会每天定点机械刷新，更不会深夜固定时间高频访问；搭配随机停留间隔、模拟真人滑动鼠标这类小细节，爬虫才能长期安稳地采集数据。

再回到最开头跑分馆抄书单的小故事，忙活一整天，抱着厚厚一沓清单回到馆里，旁人问今天顺不顺利，工作人员大概只会叹一句：跑了六家分馆，两家直接不让进，中途换了好几套行头，中途等了好几次，总算把书单全都抄齐。简简单单一句话，就把爬虫重试、轮换代理IP背后的逻辑讲得明明白白。