前年双十一，我想着写个小爬虫，抓取某电商平台的商品价格数据。代码认认真真写完，还特意设置了合理的请求间隔，当时满心以为稳赚不赔，直接点开运行。
刚开始三分钟一切顺利，数据稳稳往外爬。可到了第四分钟，意外直接来了——所有请求全部失效，页面统一跳出验证码弹窗，提示“访问频率过高，请稍后再试”。
毫无疑问，我被网站限速拦截了。
其实这事谁都不冤。网站限流，是为了防止大量爬虫涌入拖垮服务器，保障普通用户正常访问；我爬取的也只是平台公开的商品数据，只是做个数据整理而已。双方初衷都没问题，但我的爬虫任务，实打实翻车了。
后来复盘才彻底搞懂，这就是最常见的IP速率限制机制。网站会锁定你的访问IP，实时统计请求次数，一旦超出设定阈值，直接拦截封禁。
网站到底是怎么精准抓到爬虫的？
原理其实特别简单，网站后端就靠一个请求计数器。
举个最直观的例子：如果网站设定规则是“单IP每分钟最多30次请求”，你的每一次访问、每一次数据抓取，都会让计数器加一。等到第31次请求发起时，服务器检测到频次超标，要么直接返回429请求过多的报错代码，要么弹出验证码强制验证，阻断后续所有请求。
而且这个计数器是定时重置的，周期一般是一分钟。哪怕你前30秒疯狂发起60次请求，前30次能正常通过，剩下的30次会被全部拦截，根本没有商量的余地。
部分平台的限制会更严格，不只是按分钟限流，还会叠加小时、每日的访问上限。比如很多免费天气API接口，单个IP一天最多调用1000次，一旦超限，直接全天封禁IP，彻底无法访问。
最简单的兜底解法：放慢抓取节奏
既然被拦截的核心原因是“访问太快、频次太高”，那最直接的解决办法就是主动降速。
在Python爬虫里，只需要一行代码就能实现请求延时：
import time
time.sleep(1) # 每次请求后暂停1秒结合上面每分钟30次的限流规则算一下，最优间隔就是至少2秒一次请求，稳妥一点设置成3秒，基本不会触发任何限流机制。
这个方法看着很笨拙，但是真的好用。如果你的数据量不大、没有极速抓取的需求，这就是性价比最高的方案。代码极简、零维护成本，还不会给对方服务器造成压力，基本不会被封禁。
但它的短板也很明显：一旦需要大批量抓取数据，效率低到离谱。比如要爬取10万条数据，一秒一次的速度算下来，大概需要27个小时，耗时太久，完全不适合大规模场景。
进阶提速方案：代理IP轮换突破限流
单机慢速爬太慢，快速爬又会被限流，想要兼顾速度和稳定性，核心思路只有一个：换掉被限流的IP。
网站的限流规则，本质都是针对单个IP的访问次数限制。那我们只要多准备几个IP，把请求分散出去，就能突破单机限流的瓶颈。
举个例子：准备10个可用代理IP，每个IP每分钟依旧限制30次请求，整体抓取频次就能提升到每分钟300次。只要把所有请求均匀分配到各个IP，同时单独管控每个IP的请求频次，不触发单IP限流规则，就能稳定高速抓取。
具体实操步骤：
1. 准备优质代理IP：优先选付费代理平台，几块钱就能拿到大量可用IP，稳定性远超免费IP；
2. 配置随机轮换规则：每发起一次爬虫请求，就随机切换一个代理IP；
3. 独立管控频次：单独监控每个IP的请求次数，严格控制在网站限流阈值内。
这里重点说下代理IP的类型，千万别用错：
- 透明代理：网站能识别出你用了代理，还能查到你的真实IP，完全起不到隐藏作用，直接pass；
- 匿名代理：网站能检测到代理访问，但无法获取真实IP，勉强能用，稳定性一般；
- 高匿代理：最优选择，网站完全检测不到代理痕迹，隐蔽性拉满。
真心不建议大家用网上的免费公共代理，基本都是被无数人反复使用的烂IP，大概率自带封禁标记，刚连上就会被拦截，纯纯浪费时间。付费高匿代理虽然花点小钱，但胜在稳定可用，性价比很高。
大规模抓取终极方案：分布式爬虫
即便用了代理IP，单台设备的带宽、性能终究有上限，超大规模数据抓取还是会受限。这时候就可以用到分布式爬虫。
说白了就是多设备协同抓取：准备多台电脑或云服务器，每台设备独立用自身IP、独立运行爬虫，各自分摊抓取任务。单台设备依旧保持慢速合规的抓取节奏，但多设备同时作业，整体抓取效率会成倍飙升。
像各大搜索引擎的全网爬虫，都是基于分布式架构，部署在成千上万台服务器上，才能实现全天候全网数据抓取。
不过对于个人开发者来说，搭建分布式爬虫成本太高，需要多台云服务器、还要做任务调度和运维，完全没必要。日常开发、个人项目，用代理IP轮换方案就完全够用了。
爬虫必守底线：做有礼貌的合规爬虫
爬虫从来不是越快越好，技术只是基础，合规和分寸才是长久运行的关键。分享几个业内默认的爬虫礼仪，也是避坑核心规则：
第一，必看robots.txt协议。几乎所有网站根目录，都会有这个文件，里面明确标注了网站允许抓取、禁止抓取的目录，还有官方建议的抓取间隔。严格遵守这个规则，是爬虫的基本素养，能规避绝大多数合规和封禁问题。
第二，一定要配置User-Agent。简单说就是给爬虫加一个身份标识，告诉网站你的访问主体、用途。最好预留联系方式，万一爬虫出现bug、突发高频请求压垮对方服务器，对方能及时联系到你，不至于直接判定恶意攻击、触发风控封禁。
第三，避开网站访问高峰。晚上8点、午间休息这些用户集中访问的时段，尽量不要大规模爬虫。选择凌晨、深夜等访问低谷期抓取，对网站服务器压力极小，风控检测也会宽松很多，互利共赢。
第四，完善重试机制，切忌暴力重试。遇到429限流报错，千万别立刻反复重试，只会加重风控判定，彻底锁死IP。正确做法是延时重试，比如等待60秒后再次发起请求，多次重试失败后，直接废弃当前IP，切换新IP继续工作。
实战踩过的致命坑，新手直接避开
多年爬虫实战踩了无数坑，整理几个高频翻车点，大家可以直接避雷：
坑一：代理IP有有效期，并非永久可用。市面上绝大多数代理IP都是短时有效，很多几分钟就会失效。代码里必须加上状态检测机制，实时判断IP是否可用，一旦检测到失效、请求失败，立刻自动切换新IP，避免爬虫卡死。
坑二：固定延时太规律，容易被判定为机器行为。很多网站的高级反爬机制，不只是检测IP和请求频次，还会识别请求间隔规律。如果你的爬虫固定每隔2秒请求一次，机械痕迹太明显，极易被精准拦截。解决办法很简单，设置随机延时：
time.sleep(random.uniform(1, 3))让请求间隔在1-3秒随机波动，模拟真人浏览网页的操作节奏，规避机器特征检测。
坑三：IP地域跳转混乱，暴露代理特征。用代理池轮换IP时，切忌频繁跨地域切换。比如上一秒用北京IP访问，下一秒切换上海IP，地域跳动过于频繁，是代理爬虫的典型特征，很容易被风控识别。尽量锁定单个IP的访问地域，专一对应区域数据，降低异常概率。
实战建议
如果只是个人练手、做小型项目，优先用慢速延时方案。能不用代理就不用代理，代理池的搭建、检测、维护都很繁琐，徒增工作量。
如果确实需要高速、大批量抓取数据，一套万能组合就够了：代理IP轮换+随机请求延时+智能重试机制，足以应对市面上90%以上的常规网站限流和基础反爬机制。
记住一个核心原则：爬虫的访问速度，不要快于真人用户的浏览节奏。普通人浏览网页，一页至少停留3-10秒，我们保持3-5秒一次的请求间隔，合规又稳妥，绝大多数网站都不会刻意拦截。
爬虫的本质不是对抗和薅数据，而是合理共享公开网络资源，懂分寸、守规则，才能让爬虫稳定长久运行。