去年双十一之前，我想自己做一个电商比价小工具。随手写了个爬虫，刚跑三分钟，直接翻车——IP被网站封了。更尴尬的是，半个月后我想换个站点接着爬，回头翻当初那堆代码，瞬间头大：请求地址全写死在代码里，页面解析逻辑塞在循环里面，代理配置更是东一块西一块，散落在五个函数当中。想改？看了一圈还不如直接推倒重写。这就是典型的“能跑就行”写法埋下的坑。今天就跟大家好好聊聊，怎么搭一套可配置、好维护的爬虫架构，顺便把代理IP该怎么规范用，一次性讲透。先改掉把参数写死的坏习惯刚入门写爬虫的朋友基本都有个通病：网站...