先想象一个真实场景：领导给你派了个活，让你把某个电商网站上所有商品的名称和价格都抓下来。这个网站结构很常规——一个商品列表页，每页放20个商品，点进去就是每个商品的详情页，没啥复杂的。

你信心满满，二话不说就写了个爬虫：先请求列表页，把20个商品的详情页链接解析出来，然后一个个点进去访问，拿到价格就保存起来。结果呢？跑了一整个晚上，才爬了几千条数据，而网站上的商品足足有几十万件。按这个速度，估计得爬到下个季度，你都要被爬虫熬秃了。

问题到底出在哪？其实很简单：你的爬虫大部分时间都在“摸鱼等待”。

请求一个详情页，得等服务器把数据返回过来，这期间CPU完全闲着，啥也不干。20个详情页你挨个请求（也就是串行请求），总耗时就是20次网络请求的时间加起来，能不慢吗？聪明点的做法是：同时发好几个请求，让这些等待的时间叠在一起，互不耽误。

让爬虫长出“八爪鱼”，多线程同时干活

想要提速，第一个突破口就是异步并发。不用搞太复杂的操作，用Python里的asyncio搭配aiohttp，或者用requests加上线程池，就能轻松实现多个请求同时发出去，不用傻等。

给大家算个账：假设一次请求需要0.5秒，20个详情页串行请求，就得花10秒；但如果开10个并发线程同时请求，差不多1秒就能搞定（10个请求并行，分两批就完成了），效率直接提升近10倍，肉眼可见的快。

但这里要提醒一句：并发不是越高越好。你要是一下子开100个线程同时请求，服务器直接就会检测到异常，反手给你封了IP，到时候啥也爬不了，得不偿失。合理控制并发数，一般5到20之间最安全，既提速又不踩反爬的坑。

别瞎忙活！列表页能拿的信息，别再进详情页

还有一个很多新手都会踩的效率坑，就是解析策略太死板。很多人习惯这么写：拿到列表页的HTML，用XPath或者BeautifulSoup把所有详情页链接都提取出来，然后一个个点进去请求，不管里面有没有自己要的信息。

这里面藏着一个隐蔽的低效点：列表页其实已经包含了不少商品信息，比如商品名称、缩略图、价格区间这些基础内容。如果你的需求只是拿到这些信息，根本没必要多此一举，再点进详情页浪费时间。

更高效的做法是“分级抓取”：列表页能拿到的信息，就直接在列表页提取，不做无用功；只有那些只有详情页才有的独特信息，比如商品详细参数、库存状态、用户评价，才需要二次请求详情页，这样能省不少时间。

缓存+断点续传，避免白忙活

有没有遇到过这种情况：爬虫跑了三个小时，眼看就要爬完一批数据了，突然网络断了，或者电脑卡崩了。重新启动爬虫，又得从头开始爬，之前的功夫全白费，心态直接崩了。

其实只要在代码里加个简单的缓存机制，就能避免这种麻烦：每成功抓取一个详情页，就把这个页面的URL记录到一个“已处理”的集合里。下次启动爬虫的时候，先检查这个集合，已经爬过的URL就直接跳过，不用再重复爬。这样一来，就算中途宕机，恢复起来也不用费力气，成本几乎为零。

如果是大规模抓取，建议用Redis或者SQLite来管理这些已处理的状态，更稳定；如果是小规模抓取，用Python的set，定期保存到文件里，就完全够用了，不用搞太复杂。

优雅爬取，别把人家服务器搞崩了

有些朋友为了追求速度，开了超高并发，结果把对方服务器搞崩了，还抱怨人家网站太脆弱。其实这真不是网站的问题，是你的爬虫不够“优雅”，太暴力了。

高效不等于暴力，真正的高效，是在不影响对方服务器的前提下，最大化抓取速度。给大家两个实用技巧：一是用asyncio.Semaphore限制并发数，别乱开线程；二是加上指数退避重试——如果服务器返回429（请求太频繁）或者503（服务器忙），先停几秒再试，要是还报错，就等更久一点，别死磕。

还有一个能明显提速的小技巧：复用TCP连接。如果用requests库，每次请求都会重新建立连接，光建立连接、断开连接的时间就浪费不少；换成Session对象，或者用aiohttp.ClientSession，连接会被复用，在高并发的时候，能明显减少延迟，节省时间。

解析器选对，速度再提一档

说实话，BeautifulSoup用起来确实顺手，新手也能快速上手，但它有个缺点——速度太慢。如果你的抓取任务对性能有要求，建议换成lxml的etree，解析速度能快5到10倍；要是想更激进一点，用selectolax，或者直接用正则表达式提取关键信息，速度会更快。

不过也别过早优化，先把爬虫跑起来再说。可以用cProfile查一查，看看爬虫的瓶颈到底在哪——很多时候，慢的不是解析速度，而是网络请求，瞎优化解析器，纯属白费功夫。

一个新手也能上手的实用架构

给大家分享一个我平时常用的模式，简单又高效：一个生产者协程，专门负责抓取列表页，把解析出来的详情页URL放进队列里；然后开多个消费者协程，从队列里拿URL，并发抓取详情页。

这样一来，列表页和详情页的处理就分开了，互不干扰，不管是列表页爬得慢，还是详情页爬得慢，都不会影响另一边。另外，队列长度可以设个上限，比如200，避免URL堆太多，把内存撑爆；每抓完一页列表，随机sleep 0.1到0.5秒，模拟真人浏览的节奏，不容易被反爬。

最后说点实在的，新手必看

其实高效抓取的核心，不是代码写得多花哨，用了多少高级技巧，而是你要清楚，哪些请求是必须的，哪些是可以合并、可以跳过的。减少请求次数，永远比单纯提高请求速度更有效——少发一个请求，就少一次等待，日积月累，能省不少时间。

另外，一定要尊重网站的robots.txt协议，设置合理的User-Agent，最好在请求头里加上来源页面，别伪装成异常请求。被反爬后再换IP、改代码的代价，远比一开始就表现得像个正常用户要大得多。

回到开头的场景，如果你按照上面的思路改造爬虫——用异步并发提速，用分级抓取减少请求，再加上缓存和断点续传，同样的任务，可能一两个小时就跑完了。爬虫不累，服务器不炸，你的周末也能保住，不用再熬夜陪爬虫“加班”。

补充：代理IP选择对照表（新手直接抄）