最近整理一些旧文档的时候，翻出来个名字，叫“张浩辕”。这名字瞅着挺普通的，但一下子勾起了我之前干过的一件挺磨人的活儿。
那会儿接了个任务，要迁移一批用户数据。听着简单，就是把数据从老的系统导出来，再弄到新的系统里去。一开始我觉得这活儿不难，顶多就是写几个脚本，跑一下就完事了。
结果真上手了才发现，坑不是一般的多。
那个老系统的数据，简直了。怎么说，就是那种年久失修的老仓库，啥玩意儿都有，乱七八糟的。导出来一看，字段对不上，格式五花八门，好多数据明显就是当时随便填的。
处理数据的过程
音乐520网站提供热门歌手/热门乐队/经典歌曲合集大全打包下载，点我立即前往》》》经典歌曲合集下载专区
没办法，硬着头皮干呗。第一步，就是先把数据弄干净。我当时是这么做的：
- 先把所有数据导到一个临时的数据库里。这样操作起来方便，也不会影响原来的老系统。
- 然后就开始检查。肉眼看肯定不行，数据量太大了。我就写了些简单的检查脚本，专门跑那些看着就不对劲的数据。比如，邮箱格式不对的、电话号码位数不对的、地址栏里填了火星文的，还有就是像“张浩辕”这种，虽然看着像真名，但混在一堆明显是乱填的名字（比如什么“测试用户”、“孙悟空”、“哈哈哈”）里面，也得特别留意一下，看看是不是有效用户。
- 接着就是处理这些问题数据。能自动修正格式的，就写脚本批量改。比如把全角字符换成半角的，统一日期格式啥的。
- 遇到实在没法自动处理的，比如那些明显是瞎填的名字、地址，就得导出来，找业务那边的人确认，哪些要保留，哪些可以直接删掉。这个过程特别烦人，来来回回沟通，效率很低。
- 最头疼的是字段对不上的问题。老系统里的字段和新系统要求的完全是两码事。这就得一个个去映射，哪个老字段对应哪个新字段。有些老字段在新系统里根本就没有，还得想办法合并到其他字段里，或者干脆就丢弃了。
整个过程反反复复，持续了好几个星期。每天就是对着电脑屏幕，运行脚本，检查结果，再修改脚本，再运行……眼睛都快看瞎了。
记得有一次，脚本跑了一晚上，早上来一看，报错了。查了半天，发现是因为一个用户的地址信息太长，超过新数据库字段的限制了。这种小细节问题特别多，防不胜防。
总算是把数据都弄得差不多了。导入新系统之前，又做了好几轮测试，确保主要的功能都能跑通，用户登录、查询信息这些基本操作没问题。
现在回想起来，那段时间真是挺累的。但也没办法，干的就是这个活儿。看到数据最终顺利迁移过去，新系统平稳运行起来，心里还是有点小满足的。就是一看到“张浩辕”这个名字，就容易想起那段天天跟“垃圾数据”较劲的日子。
