前阵子同事老张兴冲冲来找我，特别得意：“我爬了十万条电商商品数据，这下可以好好做价格行情分析了！”
结果隔天他就一脸郁闷跑过来吐槽：“我算出来商品平均价格才两毛钱，这明显离谱到家了，肯定是数据出问题了。”
我帮他把原始数据拉出来一看，瞬间就懂了：十万条数据里，三万条是完全重复的，还有两万条关键字段空空如也。更离谱的是不少价格栏写着“暂无报价”“价格面议”这类文字。把这些乱七八糟的无效数据混进去算均值，得出奇葩结果一点都不奇怪。
这就是做爬虫和数据分析最常见的坑：数据倒是爬下来了，但压根没做清洗处理。今天就跟大家好好聊聊数据清洗和去重的实用逻辑，做采集、做分析的都能用上。
脏数据到底都是哪来的？
爬虫抓回来的原始数据，乱象五花八门，脏数据主要就四个来源：
第一，网页页面结构不统一。同一个商品列表页，前几十个商品都标了实价，后面一部分直接改成“咨询客服询价”。爬虫不管三七二十一全抓下来，数字价格和文字说明混在一张表里，数据直接乱套。
第二，网站本身就自带脏数据。用户评论里夹杂大量表情包、HTML标签、无关广告链接，爬虫抓取时会原样照搬，全都塞进数据集里。
第三，网站反爬机制故意干扰。有些平台会刻意返回虚假数据，比如统一把标价改成9999元，或是凭空插入一堆根本不存在的商品记录，稍不留意就会被带偏。
第四，无意识重复抓取。爬虫中途中断重启、分页内容重叠、多个渠道采集同一款商品，种种情况都会产生大量重复冗余数据。
不把这些脏数据清理干净，后续再专业的数据分析，也只是自欺欺人，得出的结论完全没有参考价值。
数据清洗：把杂乱字段捋得规规矩矩
以我的实操经验，写爬虫逻辑的时候，就得同步定好清洗规则，别等数据全部存进库了，再回头返工处理，费时又费力。
日常做数据清洗，核心就这几类操作：
空值规范处理。遇到价格、销量这类字段为空、填了“暂无”“面议”的，不要直接删掉，统一标记成缺失值就行。后续做分析时，再按需选择填充默认值，或是直接剔除无效记录。
数据类型转换。把带文字的价格字符串，比如“99.00元”，转换成纯数字浮点型；把“2024-03-15”这类文本，规整成标准日期格式。这里一定要加异常捕获，万一碰到“99.5元特价秒杀”这种夹杂多余文字的内容，不会直接程序报错崩盘。
剔除多余噪音。清理文本首尾的空格、换行符，删掉多余的HTML标签。像评论里常见的<span>好评</span>这类格式冗余，用字符串处理或者正则就能轻松清理干净。
统一数据格式。手机号统一清理成纯数字格式，日期全部规整为YYYY-MM-DD样式，价格统一保留两位小数。格式统一了，后续合并多渠道数据源、做统计分析才不会乱。
高效去重：别让同一条数据重复占用资源
很多人觉得去重很简单，直接整行对比剔除重复就行，其实根本没这么容易。
同一件商品，第一次抓取标题是“iPhone15 黑色 128G”，第二次少了个空格变成“iPhone15黑色128G”，整行比对就判定成两条不同数据，根本识别不出是同一个商品。
真正靠谱的做法，是自定义业务唯一键。
根据业务场景，选一个天然不会重复的字段或组合：电商数据用商品ID、详情页URL；资讯新闻用链接地址；杂项数据可以用标题加品牌、时间戳加来源组合判定，精准避开格式细微差异带来的误判。
而且去重要把控好三个时机：
抓取过程中去重：用Redis集合维护已爬取的URL列表，新链接先校验再请求，从源头避免重复爬取，节省带宽和时间。
入库之前去重：拿到完整数据后，写入数据库前按唯一键查重，已存在的要么跳过，要么更新最新信息。
定期全局去重：每隔一段时间对全量数据做一次复盘清理，补上规则调整后漏掉的重复数据，保证整体数据纯净度。
一套拿来就能用的清洗流水线
我平时一直用管道式处理思路，按步骤串行执行，每一步只负责一件事： 原始数据 → 关键字段提取 → 空值标记处理 → 数据类型转换 → 格式统一标准化 → 批量去重 → 正式入库
每一步输出规整的字典格式数据，遇到异常条目只记录日志，不打断整体流程。哪怕单条数据格式出错，也不会影响整批数据的处理进度。
就拿价格为“面议”的情况举例，我会自动转为空值，同时生成警告日志标注异常位置。事后翻看日志，还能统计异常数据占比，判断目标网站是不是页面改版、规则变动了。
清洗前后差距到底有多大？
再回到老张那十万条商品数据，我帮他跑了一遍完整的清洗流程：
批量去重，删掉三万条重复冗余数据；
统一标记五千条价格为空的无效记录；
把“暂无报价”“面议”这类文本全部转为缺失值；
清理评论内容里多余的网页标签和特殊符号。
最后筛出六万多条干净合规的有效数据，重新核算平均价格，从离谱的两毛钱变成89.7元，和市场实际行情基本吻合。
老张事后也感慨：“原来做数据采集，一半功夫在爬虫抓取，另一半全在数据清洗。”
这话确实说到了点子上。爬虫只能解决“能不能拿到数据”的问题，而清洗和去重，才决定“拿到的数据能不能用、准不准”。
如果时间和精力有限，宁愿少爬几个站点，也要把数据清洗规则打磨到位。做数据行业永远绕不开一个硬道理：垃圾数据进去，出来的只会是垃圾分析结果。