在爬虫的世界里，有用的数据总藏在乱糟糟的HTML标签、JavaScript代码或者JSON字符串里。想要精准的获取到自己需要的数据不是一件很容易的事情，不过正则表达式就像一把精准的小手术刀，很容易就能把想要的数据抠出来。因此，学会它的正确用法，爬虫的效率能直接提升一个档次。

为什么爬虫离不了正则？

大家常用的BeautifulSoup、XPath确实用着顺手，但它们有个特点：要先把整个网页的DOM结构解析出来。要是碰上一个5MB的网页，解析器构建节点树的过程，会让内存占用直接翻倍。

而正则不一样，它直接在字符串层面工作，不用加载任何DOM结构，只要找字符规律就行。像提取电话号码、邮箱、网址这类格式固定的内容，正则的速度通常是解析器的10倍以上，效率非常高。

Python的‘re’模块还有个隐藏小技巧’re.compile()’，很多人容易忽略。不少人习惯每次匹配都写’re.findall(r'规则', 文本)’，这就相当于让Python每次都重新解读一遍规则；但如果把常用的规则提前编译成对象，后续反复匹配时，速度差距立马就出来了。比如要循环匹配十万个页面，高下立判：

# 低效做法：每次都重新编译规则
for page in pages:
    emails = re.findall(r'[a-z0-9]+@[a-z]+\.[a-z]+', page)


# 高效做法：提前编译，反复使用
email_pattern = re.compile(r'[a-z0-9]+@[a-z]+\.[a-z]+')
for page in pages:
    emails = email_pattern.findall(page)

实战超好用的三个技巧，直接降维打击

第一招：原子分组，清晰不冗余

提取商品价格时，页面里的格式五花八门，可能是‘¥199.00’、’$299’，也可能是’€150,50’。用’(?:)’把货币符号和数字分开，既能让规则逻辑更清晰，又能避免抓到多余的内容，只取我们要的数字部分：

price_re = re.compile(r'(?:¥|\$|€)\s*([\d,]+(?:\.\d+)?)')

第二招：别让贪婪模式“吃太撑”

写规则时用’.*’，它会一口气吞掉整行内容，直到找到最后一个匹配的地方，碰上标签嵌套的情况，很容易提取出错误结果。这时候要么改成’.*?’的非贪婪匹配，见好就收；要么更精准点，用’[^"]*’这种限定范围的写法，让它精准停在第一个右引号前，绝不越界。

第三招：玩转多行模式，搞定跨行数据

爬取日志这类内容时，常遇到数据跨行了的情况，而正则默认的’.’是匹配不到换行符的。这时候开启’re.DOTALL’，让`.`能穿透换行符；再配合’re.MULTILINE’，让’^$’能精准定位每一行的开头和结尾，处理多行评论、代码块这类内容，能省大把功夫。

正则再好用，也不是万能的。比如解析结构复杂、层层嵌套的HTML时，用正则只会越写越乱——它天生就不擅长处理这种递归的结构。这种时候别硬刚，把HTML解析交给lxml、BeautifulSoup，正则只负责从解析好的文本节点里抠数据就好。

还有个巨坑叫“灾难性回溯”。比如写‘([a-zA-Z]+)*’想匹配单词，一旦碰到超长的无空格字符串，正则引擎会陷入无限循环似的回溯，直接卡崩。解决办法也简单：要么用原子分组模拟占有型量词（Python的’re’模块没有原生支持，原子分组能实现类似效果），要么简化规则，用具体的字符集替代宽泛的’.*’，别给引擎留太多回溯的机会。

一个能直接用的实战案例

假设要爬某论坛的帖子标题和链接，网页里的HTML片段长这样：

<h3 class="title"><a href="/thread/12345">Python 正则性能优化</a></h3>

直接写’re.findall(r'<a href="(.*?)">(.*?)</a>', html)’也能跑出结果，但只要’href’属性换行了，或者标签里多了其他属性，这行代码直接失效。真正稳健、能抗造的写法是这样的：

pattern = re.compile(
    r'<h3[^>]*class=["\']title["\'][^>]*>'  # 允许h3有其他属性，单双引号都适配
    r'<a\s+href=["\']([^"\']+)["\'][^>]*>'   # 捕获href值，排除引号干扰
    r'([^<]+)'                                # 匹配标题，确保不含标签
    r'</a>'
    r'</h3>',
    re.IGNORECASE | re.DOTALL  # 忽略大小写，穿透换行
)

这个规则做了三件关键的事：允许’h3’标签带其他属性，不用死磕固定格式；不管’class’和’href’用的是单引号还是双引号，都能匹配；用’[^<]+`替代`.*?’，确保标题里不会混进标签字符。虽然看着长了点，但稳定性比简单写法高太多，不怕网页小幅度改版。

性能调优，别抓错重点

Python的’re’模块是基于C语言实现的，本身速度已经很快了，爬虫真正的速度瓶颈，其实从来都不是正则匹配——下载网页的I/O等待时间，远比正则抠数据的时间长得多。

所以调优要分主次：先优化网页下载的并发效率（比如用aiohttp、asyncio做异步请求），再去抠正则的细节。如果确实要处理GB级的超大文本，也有办法：可以用’regex’这个第三方库，支持多核并行匹配；或者把正则匹配的任务扔到C扩展里，进一步提速。

总结：正则的核心用法原则

正则在爬虫里，就是做快速原型验证、高速提取数据的“尖刀”。用得好，能让你少写80%的解析代码，效率拉满；用不好，后续的维护会变成噩梦，改一行规则牵一发而动全身。

而用好它的核心原则只有一条：“能写精确的规则，就绝不写模糊的规则”。多限定一点范围，多适配一点常见情况，看似写代码时多花了两分钟，后续能省无数个排查问题的小时。