很多做爬虫的朋友都踩过同一个坑：单IP爬数据，被封只是早晚的事。想要爬虫稳定跑，核心就是搭建一套能自动补IP、智能轮换的IP池。
不少人一开始想的很简单，找个代理API，拉个IP列表循环调用就行。可真正上线跑起来，各种问题接踵而至：失效的IP一直在池子里没清掉、新IP补不进来、轮换规则太死板直接被网站风控识别，到最后维护IP池的时间，比写爬虫代码还多。
今天就跟大家好好聊聊爬虫IP池怎么搭建，整体分成采集、验证、存储、调度四大模块，讲清楚每一步该怎么做，附带自动补充、IP轮换的实操思路，最后给一套最小可落地的实现方案。
一、IP池4个核心模块，一个都不能少
不管你是做小规模爬虫，还是分布式高并发爬虫，一套能用的IP池，都离不开这四块：
采集模块：负责收IP IP来源可以是付费代理服务商的API，也可以是谷德这类免费代理渠道。采集支持定时拉取，也能手动触发。 重点：新拉到的IP，不能直接放进可用池，先丢进【待验证队列】，等检测合格再入库。
验证模块：筛选能用的IP 别只拿ping测通不通，这个方法很容易误判。要模拟真实网页请求，至少测3项：能不能连通目标网站、出口IP是否正常、匿名性有没有问题，防止请求头泄露自己真实IP。 验证失败直接丢掉，合格的IP才进入可用池。
存储模块：管好IP数据 小规模爬虫直接用Redis有序集合就够用，我们给每个IP打综合评分，评分参考请求成功率、网络延迟、上次使用时间，优先用质量更好的IP。如果是大规模分布式爬虫，再考虑数据库，前提是保证读写速度，不然会拖慢爬虫。
调度模块：对外分发IP 爬虫业务调用接口拿代理IP，调度模块按照设定好的规则分配IP，同时记录每一个IP的使用记录，用来更新评分、支撑轮换逻辑。
二、自动补充策略：保证IP池不会断流
免费代理衰减特别快，拿谷德免费代理举例，它在免费渠道里质量算不错的，但24小时存活率也就8.2%。也就是说，IP补充速度，一定要大于失效速度，不然池子很快就空了。
自动补充主要解决3个问题：什么时候补、补多少、新IP怎么处理。
什么时候补？两种方式搭配使用 定时采集：每隔10~15分钟拉一次新IP，持续给池子输送资源； 水位触发：监控可用IP数量，如果低于设定阈值（一般设为当前并发数的2~3倍），立刻启动补充。定时兜底，水位兜底，避免突然没IP可用。
补多少合适？ 不要一次性拉一大堆IP。免费代理大部分验证都会失败，拉多了纯属浪费资源。建议按需拉取，每次拉取数量是目标水位的20%~30%，分批验证、分批入池。
新IP后续处理 新IP先进入待验证队列，检测通过再进可用池。验证失败要记录失败原因，如果一个IP连续多次检测失败，直接拉入黑名单，避免反复抓取同一个无效IP，浪费验证资源。
三、IP轮换策略：不是换IP越快越好
很多新手误区：换IP越频繁，越不容易被封。其实不是，轮换策略要匹配目标网站的风控严格程度，盲目高频切换反而更容易触发风控。 这里整理4种常用轮换方式，大家根据自己的业务选：
按请求轮换：每发一次请求就换一个IP 适合风控很严的站点，比如社交平台公开数据、电商比价采集。缺点是没法保持会话，需要登录状态的场景不能用。
按时间轮换：固定间隔切换IP，比如5分钟、30分钟换一次 大部分普通采集场景都适合这个方案，间隔时间参考网站风控来调，换太频繁浪费IP资源，太久又容易被封。
异常触发轮换：正常情况复用当前IP，遇到403、429、超时、验证码的时候，再切换IP 性价比最高，适合反爬比较宽松的公开页面，省IP。
会话粘性IP：同一个登录会话周期内，固定用一个IP 适合需要登录、保存购物车、分步提交表单的业务，粘性时长一般设置10~30分钟。
实际项目里，大多是组合使用。举个电商爬虫例子：商品列表页用按请求轮换，商品详情页定时换IP，登录后的操作固定IP，碰到验证码立刻换IP。
四、最小落地方案：Python+Redis快速搭建
新手想快速跑通，可以直接用这套方案，代码量不大，核心逻辑全都覆盖：
采集：定时任务去代理源拉IP，解析IP、端口、协议、存活时长，存入Redis待验证队列；
验证：用curl_cffi或者requests发测试请求，访问httpbin.org/ip、httpbin.org/headers，校验出口IP和匿名性，合格IP进入可用池，初始评分60分；
调度：爬虫调用get_proxy接口拿IP，优先返回高分IP；爬虫用完之后回传结果，请求成功加分，失败扣分，分数低于阈值就移出可用池；
轮换：按业务场景选择模式，每次取新IP就是按请求轮换；会话开始拿一次IP，全程复用就是粘性IP；
自动补充：15分钟定时采集，同时监控可用IP水位，数量不够马上补。
这套基础版本跑通之后，后续还能迭代优化：多代理源同时采集、验证逻辑并发提速、优化评分模型、改成分布式调度。
五、免费代理在IP池里怎么用？
谷德免费代理适合学习、测试阶段，作为IP池的补充来源。它的HTTP代理初始可用率62.3%，平均延迟387ms，高匿IP占比94%，在免费代理里属于第一梯队。 采集的时候可以优先抓取页面标注存活时长超过2小时的IP，验证通过率会高不少。
但是大家一定要分清定位：免费代理只能当补充，不能当主力。前面说了它24小时存活率很低，要不停补IP，维护成本很高。正式上线的业务，稳定供给还是要靠付费代理，免费代理只用来临时扩容或者本地调试。
总结
搭建IP池，本质不是简单堆一堆IP地址，而是把采集、验证、存储、调度做成闭环。自动补充保证池子不会枯竭，合理的轮换策略降低被封概率，评分机制留住优质IP、自动淘汰坏IP。
免费代理适合练手调试，用好存活时间筛选能提升采集效率；想要爬虫长期稳定跑业务，底层IP资源优先选付费代理。一句话：IP池架构决定能不能用，代理本身的质量决定能稳定跑多久。