很多做爬虫的朋友，搞高并发代理的时候很容易踩坑，不是IP数量不够，而是IP管理和请求调度压根没配合好。一开几百个线程，代理池堆几千个IP，结果大量请求超时，IP可用率忽高忽低，最后目标网站照样封你。
其实问题大多不是代理本身不行，而是高并发场景下，一点点配置小错误，都会被无限放大。下面我按选型、接入、调优、验证这几步跟大家讲清楚，每一步都讲实操参数，附带代码思路，新手也能看懂。
第一步：先选对代理类型，再写爬虫代码
高并发爬虫，代理类型选错了，后面再怎么调参数都是白费功夫。短效代理和隧道代理，不存在谁更高端，核心区别就是：谁来负责IP轮换。
短效代理，IP管理工作交给我们自己做。从服务商API批量拉IP，存到本地代理池，自己控制多久换一次IP、IP失效了怎么处理。 隧道代理就简单很多，IP轮换交给服务商云端处理。你只需要配置一个固定接入地址，每次发请求，云端自动帮你切换IP，爬虫代码这边不用维护一大段IP列表。
给大家一个简单判断标准：需要7×24小时不间断跑爬虫、不想自己写一套复杂的IP池维护逻辑，优先选隧道代理。IP失效、剔除、补新IP这些脏活，服务商后台搞定，我们代码专心处理页面采集就行。
短效代理胜在成本低、自己掌控度高，但缺点很明显：你得自己维护代理池，做IP水位监控、失败拉黑、自动补IP。如果人手不足，光是维护代理池的工作量，很快就能把省下来的代理费用抵消掉。
第二步：接入代理，这两个坑最容易忽略
第一，鉴权方式要跟你的部署环境匹配。 不少爬虫是多台机器、容器集群分布式跑，出口IP经常变。这种情况千万别用IP白名单，优先账号密码鉴权。弹性伸缩环境下白名单很容易失效，而且经过NAT、网关转发之后，你看到的出口IP，不一定是真实对外IP。
第二，测连通性，别只测一个网站。 最少准备3个测试地址：一个查出口IP（httpbin.org/ip），确认IP是不是正常切换；一个测国内网络通不通；最后一个直接测你要爬的目标站。三个都跑通，才算这个代理在你当前环境下能用。
第三步：高并发调优，核心抓连接复用 + 分层限流
很多人爬虫上不去速度，第一大原因就是每次请求都新建连接。直接用requests.get写请求，每一次都要重新TCP握手、TLS协商，不光本地资源消耗大，代理服务器也会因为频繁新建连接，直接触发并发限制。
第一件事：一定要用Session复用连接。 requests.Session自带连接池，开启keep-alive，同一个TCP连接可以多次复用请求。爬虫想提升吞吐，优先做好这一步，而不是盲目堆线程数量。
第二件事：三层并发，分开设置上限。 业务并发、HTTP连接并发、代理并发，这三个不是一回事。很多人只盯着开多少线程，线程开太多撑爆连接池，连接池打满压垮代理，最后目标站判定你是攻击。 正确思路反过来：先确定代理能扛住的总QPS，再反推连接池并发数，最后设置任务并发，不要靠瞎调线程碰运气。
第三件事：选短效代理的，参数一定要配套调好。 如果用短效代理，本地代理池里面的IP数量，保持在当前并发数的2～3倍。举个例子，10个并发任务，池子里面常备20～30个IP。 提前批量拉取IP，不要每次发请求的时候临时调用API拿IP。高频采集场景，IP存活时长选1～3分钟，中频采集选5～10分钟，跟你的请求节奏匹配上。
第四步：重试、超时配置，防止小抖动直接雪崩
高并发爬虫里面，重试策略，比并发数量更影响整体稳定性。
超时时间一定要手动写死，连接超时和读取超时分开设置。不设置超时，或者直接设60秒，一个卡住的请求，就能挂住一条线程，时间久了整个爬虫直接卡死。
重试建议用指数退避+随机抖动。最忌讳齐步重试：一批请求同时失败，又同一时间发起重试，一次小小的网络波动，直接变成持续雪崩。 退避可以用这个逻辑：基础时间 × 2的重试次数次方，再加0～30%随机抖动，把重试时间打散，同时设置最大等待上限。
报错要分类处理，不能所有失败都无脑重试： 连接超时、被拒绝，可以少次重试、快速换代理；读写超时优先降并发，不要反复重试；429、503这类网站限流信号，必须减速退避，严重的时候暂时停掉这个域名；大部分4xx错误属于不可恢复，直接记录日志告警，不重试。 单条请求最多重试2～3次，同时给单个域名设置每分钟重试上限，避免越失败、越重试、失败越多的恶性循环。
如果是分布式集群爬虫，代理池建议中心化管理。每个节点单独存一份IP列表，很容易出现同一个IP，多个Worker同时访问同一个目标网站，网站侧看到的并发，远高于你预期的值。推荐用Redis做共享代理池，实现“借出-使用-归还”机制，加上IP+目标域名维度的锁，才能管住全局访问频率。
第五步：免费代理适合放在哪？
实话实说，免费代理不适合拿来做高并发爬虫主力。
免费代理一般并发上限很低，大多不到10，存活时间很短，带宽也有限制。放到高并发任务里，你大部分时间都浪费在检测IP、淘汰失效IP、换新IP上面。线程开得越多，失效IP带来的问题越严重。
免费代理更适合爬虫正式跑之前，用来做链路调试、参数验证。可以用来测试鉴权有没有配好、Session复用有没有生效、重试逻辑会不会误判。挑存活时间超过2小时的IP来测试，连通率会高不少，少被无效IP干扰。
但是到正式压测、长期稳定采集阶段，免费代理存活率太低，硬瓶颈很难突破。高并发爬虫，优先保证代理资源稳定可用，而不是一直不停换短命IP。
验证环节：压测重点看尾部延迟，不要只看平均值
参数调完之后，验证爬虫效果，别只盯着成功率。重点盯两个指标：P95延迟、重试率。 平均值很容易被大量快成功的请求拉高，看着好看，但是P95延迟代表最慢那5%的请求，会不会拖慢整个任务队列。 重试率如果一直居高不下，说明超时、退避、代理评分策略哪里不合适，不一定是IP不够用。
爬虫要从小并发慢慢往上加，一点点摸到目标网站刚好不触发风控的临界点。高并发不是上来直接开满线程，而是找到那个临界值，稳定在这个范围以内跑。