深夜十一点，老张盯着满屏红色报错，揉了揉快睁不开的眼睛。他写的电商比价爬虫又挂了。不是代码写错，问题全出在那些免费代理IP上——上午还能用的几十个，下午基本全成了“僵尸IP”。反复切换、反复测试，折腾三小时，最后能用的就剩三个。这种崩溃，只要做过数据采集、写过爬虫的人，基本都体会过。

免费代理IP，就跟路边的共享单车差不多。看着到处都是，真要找一辆能正常骑的，全靠运气。

根本原因不是IP少，而是缺少一套靠谱的筛选和验证方法。

一、为什么你的代理池总是动不动就翻车

免费代理的坑，大家肯定都踩过：存活时间短、响应慢到离谱、匿名程度乱七八糟。

有人统计过，网上公开收集的免费IP，第一次验证能通过的，通常不到15%，能稳定用上24小时的，少得可怜。

更坑的是“透明代理”——你以为自己藏好了真实IP，结果请求头里的 X-Forwarded-For 早就把你卖得一干二净。

大部分人踩坑，就坑在验证太敷衍：拿到IP，随便用 requests 发个请求，返回200就标成“可用”。

这种单点测试太粗糙了。

一个IP能访问 httpbin.org，不代表能扛住目标网站的反爬；

一次请求成功，不代表连续请求20次还能稳。

二、三层漏斗筛选：从“能用”到“真好用”

真正工业级能用的代理，必须像过漏斗一样，一层一层严格筛。

第一层：基础连通性验证

先别管速度，先看这个IP到底能不能用。

HTTP 代理和 SOCKS5 代理完全不是一回事，有些IP端口开着，但一碰到 HTTPS 直接断开。

先用简单方式探测一下，TCP 握手能不能通、响应是不是在合理时间内，把明显死的先扔掉。

第二层：匿名性检测（最关键）

这是区分“垃圾代理”和“能用代理”的分水岭。

用代理去访问能查IP的网站，如果返回的IP和你用的代理不一致，那就是透明代理，直接弃用。

同时还要看请求头干不干净，有没有暴露 Proxy-Connection、X-Forwarded-For 这些敏感信息。

真正高匿代理，用起来就跟普通浏览器访问一模一样，完全看不出是代理。

第三层：真实业务压力测试

这一步90%的人都直接跳过了。

别总拿通用测试网站测，要测就测和你目标网站类似的场景。

连续发起20~40次请求，模拟真实爬取频率，记录响应时间、状态码、会不会触发验证码。

能扛住这轮的，才叫高质量代理。

一个很实用的经验：验证URL尽量贴近你的业务。

爬电商就用电商页面测，爬社交平台就用对应接口测，这样筛出来的IP才真的管用。

三、动态评分：让代理池自己“优胜劣汰”

只做一次验证远远不够，IP质量是会随时间变差的。

一个稳定的代理池，一定要有动态评分机制。

最简单的方式就是用 Redis 有序集合，每个IP带一个分数：

• 初始给个基础分
• 验证通过就加分
• 验证失败就减分
• 分数掉到0直接踢出

调度的时候，优先用分数高的，没有再从合格池里随机选。

更精细一点，可以按响应速度分级：

• 500ms以内算优质
• 800ms以上直接淘汰

再配合协程并发验证，一次测几十个，效率高还不会把测试站点压垮。

关于验证频率，给你一个实用策略：

• 单次请求失败，立刻换IP
• 连续失败三次，暂时拉黑，过一会儿再重试
• 彻底失效的，凌晨批量清理

这样既能及时扔掉坏IP，又不会因为临时网络波动误杀好IP。

四、成本控制：免费+付费混合用最香

别以为免费代理真的“零成本”。

有人算过账：自己搭中等规模代理池，服务器、带宽、写脚本、维护时间，成本并不低。

而直接用正规服务商的动态住宅IP，可用率能到99%，算下来反而更划算。

最聪明的方案是混合策略：

• 免费IP用来做低优先级、不关键的任务
• 付费IP负责核心业务、高频请求

在代码里做路由分发，按任务重要性自动选IP来源。

如果你坚持只用免费代理，也给你两个建议：

• 把验证脚本写成定时任务，每天早上上班前自动跑一遍，拿到当天“新鲜可用IP清单”
• 尽量让IP分散在不同运营商、不同地区，别集中在一个IP段，否则很容易被批量封

五、写在最后

代理IP筛选，本质上就是个**提高成功率的概率游戏**。

不存在100%稳定的免费IP，但通过合理的工程方法，能把可用率从15%提升到85%以上。

核心就三句话：

• 多层验证别偷懒
• 动态评分勤更新
• 贴近业务做测试

老张后来重构了自己的验证逻辑，加了响应时间加权、失败熔断机制。

虽然还是用免费代理，但爬虫从原来只能稳定跑三小时，直接延长到了三天。

技术圈里从来没有万能银弹，但好的方案，真的能让有限资源发挥出最大价值。

深夜的屏幕上，不再是密密麻麻的报错，

偶尔闪过的一条条绿色 200 OK，就是对写代码的人最好的安慰。