GitHub的代码仓库里，藏着一场没人声张但异常激烈的“战争”。你去搜“web scraping”（网页抓取），能出来三十多万个相关项目；而“anti bot”（反机器人）相关的仓库，过去五年里数量翻了快四倍。
别以为这些开源代码都是程序员练手的玩具，它们其实是商业战场的“前线情报”——一边是做爬虫的工程师，想拿到网页上的数据；一边是做风控的团队，想拦住这些“自动抓取的机器人”。双方就在GitHub上相互试探、互相学习，技术更新的速度，比学术论文发表快多了。
早期：请求频率与User-Agent的猫鼠游戏
大概2015年前后，反爬手段还特别简单直接。服务器就盯着一个点：同一个IP地址，十分钟内如果访问超过一百次，直接封禁，不让你再访问。
爬虫工程师也不傻，很快就有了应对办法——GitHub上出现了Scrapy-Redis这样的分布式爬虫框架，核心就是搞个“代理池”，不断切换IP地址，把一个爬虫的请求，分散到上千个不同的IP出口，让服务器抓不到规律。
反爬方紧接着就升级了防线。当时Cloudflare推出了“五秒盾”，不直接封IP，而是给你返回一段JavaScript代码“考验”你——只有真正的浏览器能执行这段代码，执行完才能拿到真实的网页内容。
结果没过多久，这段JS代码就被程序员逆向分析透了。社区里马上冒出了cloudflare-scrape这样的绕过工具，原理很简单：用Node.js或者V8引擎，在本地模拟浏览器环境，把这段JS代码执行一遍，就能轻松拿到想要的页面。
除此之外，User-Agent检测也是早期反爬的基本功。User-Agent就相当于浏览器的“身份证”，爬虫一开始只会伪装成Chrome浏览器，但反爬方会检查这个“身份证”上的版本号是不是真实存在——如果是伪造的，直接拦掉。
这场简单的伪装与检测，慢慢升级成了“指纹对抗”：开源项目比如fingerprintjs，会收集浏览器的各种特征——比如Canvas渲染效果、WebGL参数、电脑里装的字体列表，把这些信息组合起来，生成一个几乎唯一的“设备签名”，哪怕你换了IP，也能认出你是爬虫。
爬虫方也不甘示弱，推出了puppeteer-extra-plugin-stealth这样的工具，专门修补Puppeteer（自动化浏览器工具）的“漏洞”——比如掩盖掉`navigator.webdriver`这种会暴露自动化身份的属性，让反爬系统误以为你是真人在操作。
中期：行为生物特征与模拟对抗
到了2018年之后，反爬技术就变了思路——不再纠结“你用什么设备访问”，而是盯着“你怎么用这个设备”。毕竟，机器的操作习惯，和真人差别太大了。
最典型的就是鼠标移动轨迹。真人移动鼠标，手部肌肉会有自然的抖动、加速和减速，轨迹是不规则的；但机器生成的轨迹，要么过于平滑，要么规律得离谱，一眼就能看穿。
针对这一点，GitHub上出现了humanize这样的项目，专门模拟真人的鼠标轨迹——用贝塞尔曲线生成自然的移动路径，再加入随机的抖动和停顿，让机器的操作看起来和真人一模一样。
点击行为也被反爬系统纳入了检测范围。真人浏览网页，比如看商品页，会犹豫、会回退、会慢慢滚动页面；但爬虫脚本不一样，会直奔目标按钮，比如“加入购物车”“提交订单”，没有任何多余的操作。
反爬方用RNN（循环神经网络）分析用户的操作序列和时间间隔，只要是“直奔目标”的操作，就判定为爬虫。而爬虫方也有应对办法，比如用random-action这样的库，在脚本里插入一些无意义的操作——比如随机滚动页面、停留几秒、点击无关链接，伪造出“我在认真浏览”的假象。
这一时期，最标志性的战场就是滑块验证码——相信大家上网都遇到过，拖动滑块拼好图片才能继续访问。极验、网易易盾这些厂商的滑块验证方案，被程序员反复拆解、研究，GitHub上很快就有了selenium-drag-and-drop这样的工具，能自动拖动滑块，完成验证。
反爬方也很快升级了防御：加入了“轨迹回放检测”。如果两次验证的鼠标拖动路径，像素级重合，就说明是机器录制了真人的操作再回放，直接判定为爬虫。紧接着，开源绕过工具也做了优化——加入随机偏移和速度扰动，让每次拖动的轨迹都不一样，哪怕是同一个脚本，每次拖动也有真人般的“小瑕疵”，避开检测。
近期：浏览器指纹与AI生成内容
从2020年开始，反爬就进入了“全栈指纹时代”——不再只靠一两个特征判断，而是把浏览器、设备的所有细节都纳入检测范围。
除了之前提到的Canvas和WebGL，还有音频上下文、电脑硬件的并发数、屏幕色深，甚至还有被限制使用的电池API，这些信息组合起来，形成一个完整的“指纹”。像FingerprintJS Pro这样的商业方案，几毫秒内就能算出“你是真人还是机器人”的置信度，精准区分真实浏览器和自动化工具。
开源社区也给出了强力回应，比如playwright-stealth和undetected-chromedriver这两个热门项目。它们不是简单修改一下浏览器配置，而是深入到Chromium（Chrome浏览器的内核）的源码层面，修补DevTools协议暴露的调试痕迹，还能劫持CDP（Chrome DevTools Protocol）的调用记录，让浏览器看起来，就像是真人手动打开的，而不是被脚本驱动的。
还有一个更隐蔽的战场——TLS指纹。我们访问网页时，客户端和服务器会先进行“握手”，这个过程中，密码套件的顺序、扩展列表、ALPN协议声明，会构成一个独特的JA3指纹。而curl、Python requests这些工具的TLS实现，和真实浏览器有细微差别，哪怕你伪装了User-Agent，Cloudflare这样的CDN（内容分发网络）也能通过JA3指纹，精准认出你是爬虫。
针对这个问题，社区开源了curl-impersonate工具，核心就是用和真实浏览器一模一样的SSL库编译，完美复刻Chrome、Firefox等浏览器的JA3指纹，让反爬系统无法区分。
近几年，AI生成内容又成了新的变量。GPT这类大模型，能批量生成“原创”的评论、文章，传统那种靠“请求频率”判断爬虫的方式，彻底失效了——你根本分不清，这个提交评论的“用户”，是真人还是AI。
于是，GitHub上出现了gpt-generated-text-detector这样的实验性项目，用困惑度（Perplexity）和突发性（Burstiness）这两个指标，判断一段文本是不是AI生成的。不过这场博弈才刚刚开始，随着AI模型越来越强，检测与生成之间的界限，也变得越来越模糊。
未来的开源情报
其实只要看看GitHub上的项目提交记录，就能摸清反爬与绕过技术的演进脉络：2022年，很多仓库都开始集成CDP绕过方案；2023年，TLS指纹相关的项目突然爆发；2024年，对抗性机器学习，又成了新的热门方向。
开源代码的迭代速度，背后其实是商业需求在驱动——电商的价格监控、舆情分析、金融数据聚合，这些合法的场景，需要爬虫技术；而网站方，需要反爬技术保护自己的数据。有意思的是，合法场景的爬虫技术，和黑灰产的爬虫，其实共享着同一份开源代码遗产。
反爬与绕过的技术博弈，从来没有终点。每一个开源绕过工具的发布，都会逼着反爬方升级防线；而每一次反爬技术的升级，又会刺激程序员开发新的绕过方案。
GitHub上的星标数、fork数，就像是这个战场的“伤亡统计”——星标越多，说明这个工具越好用，被越多工程师认可。而真正的赢家，从来不是只懂爬虫或者只懂反爬的人，而是那些既懂攻击、又懂防御，能在海量开源代码中快速学习、快速迭代的工程师。