周末本来想刷部新剧，结果平台还限地区看不了。 干脆自己写个爬虫，把剧集评分、海报、演员信息全扒下来慢慢选。

代码写完一跑，傻眼了： 1秒才爬1部剧，一共5000部，算下来要爬将近一个半小时！

我泡面都泡凉三回了，进度条才走不到10%。 这速度别说追剧了，等爬完剧都下架了。

问题到底出在哪？ 因为你写的是单线程爬虫——就像一个人干活，必须做完一件再做下一件。 发请求、等服务器回应、解析数据、保存……全程老老实实排队。 尤其是等服务器响应那几百毫秒到几秒，纯纯干等着浪费时间。

换个思路：多线程一上，速度直接起飞

单线程 = 你一个人搬砖。 多线程 = 直接喊10个工人一起搬，同时开工。

Python自带的threading模块就能轻松实现。 核心逻辑超简单：把要爬的网址分成几份，每个线程领一份，一起跑。

我给你写个最实用、能直接复制跑的代码：

import threading
import requests
from queue import Queue

# 装所有爬取任务的队列
url_queue = Queue()
# 这里可以塞进你要爬的几百、几千个URL

def crawler():
    # 队列不空就一直干活
    while not url_queue.empty():
        url = url_queue.get()
        try:
            # 发送请求
            res = requests.get(url, timeout=5)
            print(f"抓取成功：{url}")
        except Exception as e:
            print(f"抓取失败：{url}，原因：{e}")
        finally:
            # 标记任务完成
            url_queue.task_done()

# 开5个线程一起爬
thread_list = []
for i in range(5):
    t = threading.Thread(target=crawler)
    t.start()
    thread_list.append(t)

# 等待所有任务全部结束
url_queue.join()

同样爬5000部剧： 单线程要90分钟，5个线程一跑，20分钟内直接搞定。 差距就是这么夸张。

重要提醒：线程真不是开得越多越好

很多人一上头就想：那我开100个线程，岂不是秒完？现实会直接教你做人。

第一，你电脑CPU核心就那么点，线程太多只会互相抢资源，速度反而更慢。 第二，目标网站也不是吃素的，你一秒狂甩几十个请求，直接给你IP封死。

正常来说，5~10个线程是最稳、最舒服的区间。 想提速最多加到20个，一旦发现失败率变高，马上停手别硬冲。

必须搭配代理IP：不然分分钟被封号

多线程一跑，请求频率巨高，网站一眼就能看出来： “这绝对不是真人，是爬虫！”

然后直接拉黑你的IP，你啥也爬不了。

这时候代理IP就派上用场了。 简单说：每次请求都换一个不同的IP，让网站以为是一堆不同的人在访问。

做爬虫的基本没人离得开代理IP，代码集成也超简单：

# 配置代理
proxies = {
    'http': 'http://你的代理IP:端口',
    'https': 'http://你的代理IP:端口'
}

# 发请求时带上代理
res = requests.get(url, proxies=proxies, timeout=5)
真正的大神玩法：代理IP池 + 多线程 每个线程随机用一个不同的IP，就算开再多线程，也稳得一批。

我踩过的坑，你们直接避开

这套多线程+代理IP的组合我用了好几年，这几条经验记好，少走90%的弯路：

别完全取消请求间隔 就算用了代理，每个线程里最好加0.1~0.5秒延迟，模拟真人浏览，更安全。

代理IP会过期 很多IP用几次就失效了，请求前最好判断一下，失效就自动换一个。

异常处理一定要写全 超时、连不上、乱码啥情况都有，try...except写牢固，不然一个线程崩掉，整批任务都卡住。

总结

回到最开始刷剧的例子： 5个线程 + 50个代理IP，爬5000部剧信息，15分钟以内稳稳搞定。

单线程只适合小数据、随便玩玩。 只要数据量上千、赶时间，多线程+代理IP就是标配，没有之一。

写爬虫就是这样： 别让工具拖你效率，也别太猛把别人网站干崩。 找到安全又高效的平衡点，数据自然乖乖到手。