做爬虫的朋友，估计都遇到过这种糟心事吧？每天早上想爬某个网站的新文章，结果没办法，只能把人家整个网站从头到尾扒一遍，快的话几分钟，慢的话半个多小时，耗时间又耗精力。最气人的是，扒完一看——就更新了一篇文章，剩下的全是昨天、前天已经抓过的旧内容。这操作就跟啥似的？好比你每天早上起床，把整份报纸一字不落全读一遍，就为了看当天那一条新的天气预报，是不是傻得有点离谱？所以今天就跟大家好好聊聊，解决这个麻烦的办法——增量爬虫。说白了，就是别再傻乎乎地扒人全家了，聪明点，只捡新的、变的抓。那些让人头大的...