刚入行那会儿，我也以为拿到的原始数据就是金子。直到上个月，老板让我处理一批从海外爬虫抓取的POI数据，整整三百万条。我兴冲冲地跑了一遍脚本，结果地图上一片空白，或者全飘在太平洋里。那一刻我才明白，所谓的“大数据”，大部分时候都是“大垃圾”。
做我们这行，最折磨人的不是写代码，而是清洗。特别是geo数据集清洗，它不像文本那样有明确的语义，坐标错一位，人就从北京跑到内蒙古了。今天不聊虚的，就聊聊我踩过的坑，和怎么把这些脏数据变废为宝。
第一步，先查坐标系。这是90%新手容易忽略的致命伤。
你拿到的数据，可能是WGS84，可能是GCJ02，甚至可能是BD09。如果不统一，后面所有工作全白搭。我有个客户，拿着高德的数据去百度地图上显示，偏移了大概几百米。虽然肉眼看着差不多，但对于做精准营销来说，这几百米就是客户流失。
怎么解决？别自己硬算。直接用现成的转换库，比如Python里的coordtransform。先确认源数据是什么坐标系，再转成你目标平台要求的标准。这一步虽然枯燥，但必须做，而且要做两遍，确保万无一失。
第二步，去重和异常值过滤。
很多数据源为了凑数，会把同一个地点重复抓取几十次。有的甚至经纬度完全一样，但名称略有不同，比如“星巴克”和“星巴克咖啡”。这时候，简单的字符串匹配就不够用了。
我通常的做法是，先按经纬度聚类。如果两个点在50米半径内，且名称相似度超过80%，就视为重复。这里有个小细节，别用太严格的阈值，不然会把相邻的两家店误删。我上次就差点把隔壁楼的两家不同品牌奶茶店给合并了，那叫一个冤。
另外，还要剔除那些坐标为0,0或者明显在海里的点。这些通常是抓取失败留下的占位符。看着不起眼，但积少成多，能占你总数据的5%左右。
第三步，地址标准化与补全。
光有经纬度不够，还得有可读的地址。很多原始数据里的地址格式五花八门，有的带省市区，有的只有一行字符串。这时候就需要调用地图API进行逆地理编码。
注意，API调用是有频率限制的，而且不是100%准确。我一般会设置一个重试机制，对于解析失败的数据，标记为“待人工复核”。别指望机器能搞定一切，有些新开的店或者偏僻的村落，API里根本查不到。这时候，就得靠人工经验去推断，或者留空。
最后，关于geo数据集清洗的成本问题。
很多人觉得外包便宜，但我真心不建议。因为外包团队不懂你的业务逻辑。比如你做餐饮选址，对“学校周边”的定义可能和做房产中介的完全不同。这种细微差别，只有你自己最清楚。
我自己处理数据时，会保留一份原始日志。一旦线上出现异常，能迅速回溯是哪一步清洗出了问题。这种可追溯性，比数据本身更重要。
说到底，数据清洗是个体力活，也是个细心活。它没有太多高科技含量，全是细节。但正是这些细节，决定了你最后分析出来的结果准不准。
别嫌麻烦，每一行数据的背后，都是真金白银。希望这些经验能帮你少走弯路。毕竟，在这个行业混了十年，我见过太多因为数据脏乱差而搞砸项目的案例了。那滋味，不好受。
