上周我朋友小李，想爬个房产网站的房源信息，说是要做租金分析，以后租房子能少踩坑。他兴致勃勃地写了个爬虫，刚开始那两分钟，数据唰唰往出跑，美得不行。结果刚过三分钟，啪的一下，直接报错了，服务器返回个HTTP 403，说白了就是“你被拉黑了，别来了”。

他还不信邪，觉得是偶然，又重新跑了一遍，结果更惨，一分半钟就被封了。

后来他急了，把请求间隔调到5秒，以为慢一点就没事了，没想到还是被封。从5秒调到10秒，再调到30秒，不管他怎么放慢速度，只要连续跑超过20个请求，IP就被暂时封死，啥也干不了。

他跟我说，这网站是不是用了什么高端反爬技术，怎么这么难搞。我把他的请求日志翻出来一看，好家伙，同一个IP，60秒内就请求同一个接口40多次，而且连User-Agent都没换，等于明着告诉服务器：“我是爬虫，快来封我”。

这哪是爬虫啊，这分明是对着服务器敲门，敲得比催收还急，不封你封谁？

IP封锁到底是啥？服务器其实是在“防流氓”

其实IP封锁是最基础的反爬手段，原理简单得不能再简单，就跟小区门卫似的：记着每个IP过来请求的次数，一旦超过它定的规矩（阈值），直接拉黑，不让你进来。

可能有人会问，服务器至于这么小气吗？还真不是小气。一个正常用户逛网站，打开首页、点几个房源详情、翻几页列表，三五分钟下来，也就发个20-30个请求。但有些暴力爬虫，一秒钟就能发上百个请求，这就相当于一个人占了一百个人的位置，其他真实用户想逛网站，要么卡得动不了，要么直接进不去。

所以说白了，服务器封IP，本质上就是为了保护正常用户的访问体验，不是故意针对爬虫。搞懂这一点，你就知道绕过封锁的分寸在哪里，别太过分就行。

三种绕过思路，从简单到复杂，小白也能上手

1. 最省事：装得像个真实用户，别暴露自己

很多新手爬虫一上来就被封，不是IP不行，而是行为太假了，一眼就被服务器看出来是爬虫。

最简单的伪装方法，就这3个，记好就行：

- 随机换User-Agent：说白了就是告诉服务器“我是用Chrome浏览器、Windows系统逛的”“我是用Safari、苹果系统逛的”，每隔几个请求就换一次，别一直用同一个。

- 带Cookie访问：很多网站的接口，得先逛一遍首页，获取一个会话（Cookie），再去爬详情，不然服务器就认不出你，直接拒之门外。

- 加随机延时：别卡着整秒发请求，比如别一直sleep(3)，每次都等3秒，太规律了。可以在2到5秒之间随便选个时间，比如2.3秒、4.7秒，这样看起来才像人手动操作。

我见过最离谱的，有人写sleep(3)，每分钟整点发20个请求，规律得跟节拍器似的，服务器一看就知道：这肯定不是人，是爬虫！不封你才怪。

2. 最直接：换个IP，接着跑

如果网站只是简单封单个IP，那最直接的办法就是换IP，用代理池就行。代理IP的来源主要有三种，各有各的优缺点，按需选：

- 免费代理网站：网上一搜“免费代理IP”，一大把都是。优点是不用花钱，缺点也很明显：又脏又乱又慢，可能你刚拿到IP，它已经被别人用烂了，早就进了网站的黑名单，等于白忙活。

- 隧道代理服务：花几十块钱，买个代理服务商的套餐，对方会自动帮你切换IP，你啥也不用管，只管发请求就行。适合不想折腾、图省事的人，性价比也还行。

- 自建代理池：租几台云服务器，把请求分到不同的IP上。优点是成本可控，IP也干净，缺点是需要自己维护，有点麻烦，适合稍微懂点技术的人。

其实对付简单的IP封锁，免费代理通常就够用了，但一定要注意：很多免费代理，其实是别人爬虫的中转站，你用它发请求，反而会暴露更多信息，得不偿失。

3. 有点技巧：绕开IP检测的“火眼金睛”

有些网站就比较鸡贼了，不只是看IP，还看你请求的节奏和访问路径。比如，一个正常用户，不可能3秒内就逛完二手房、租房、写字楼三个完全不相关的页面，这不符合人的浏览习惯。

这时候有两种办法：要么老老实实地模拟人的浏览路径，比如每个页面停留一会儿，偶尔加个滚动操作，假装自己在认真看；要么就换个思路，别在Web端死磕——很多网站的App端、移动端接口，对IP的限制比电脑网页端松多了，因为手机用的是运营商网络，本来就会频繁切换IP，服务器也不会太较真。

总结：技术能突破，但底线不能碰

其实识别、绕过简单的IP封锁，技术上真不难，稍微琢磨一下就能上手。难的是，你得想清楚“该不该这么做”。

如果你爬的是公开接口，请求频率控制在合理范围，比如每秒1-2个，不影响网站正常运转，大多数网站其实懒得管你，毕竟你也没造成什么影响。

但如果你把延时调到0.1秒，用代理池疯狂刷请求，把对方服务器搞崩，甚至想绕过付费墙、爬别人的私密数据——那这就不是“绕过反爬”了，这是赤裸裸的“网络攻击”，是违法的。

记住一句话：爬虫的底线，从来都不是技术能突破的，守住分寸，才不会踩坑。