元数据驱动:一平台终结数据孤岛
|
微信公众号的推文标题被运营删了三次,第三次改完我盯着屏幕看了十八秒——右下角弹窗还挂着上次校对留下的水印:“元数据驱动:一平台终结数据孤岛(终稿v3_带领导批注)”。我点开那个批注,是用红字写的:“太像SaaS销售页”。 我原以为“优胜劣汰”这四个字只是会上过嘴的惯性表达。结果七月七号那天在测试环境切流,三套老血缘系统同步崩了两个,剩一个硬扛了四小时十七分钟才彻底失联——不是因为没做血缘扫描,是它扫出来的三百七十二个字段关系里,有二百零六条指向一张根本不存在的视图。那张视图的建表语句早在2023年Q4就进了回收站,但它的别名还在调度日志里活着,活成了幽灵外键。 跟数仓老大吵架是在茶水间。他拎着保温杯说:“你们标的数据标准,连我司MySQL的time_zone都敢强制映射成ISO 8601?”我回他:“那你倒是把timezone字段改成datetime不就好了?”他拧开杯盖吹了两下,水汽糊住眼镜片,手都没抬一下:“改?下游BI报表跑出来全是UTC+8的凌晨三点。”我说:“那就该让元数据平台暴露这个错。”他说:“暴露?暴露完业务部门来找我,说为什么他们看的销售漏斗少了四百人。”我没接,转身去微波炉热外卖,铝盒上印着“鲜食72h”,盒子凉得透心——早过了加热时间,我忘按了开始键。 冷眼看着这件事往下走。不是因为想清高,是见过太多“统一入口”最后变成统一入口页,底下十四个iframe各拉各的接口,登录态全靠cookie轮询加手动续签。上个月有个团队用咱们平台查数据质量规则,查到一半页面白屏,F12一看,是加载了一个埋了五年、从未触发过的前端hook,钩子绑在window.onload上,而window已经loaded了八次——每次加载都往全局塞一套新函数,第七次直接爆栈。没人动过那段代码,因为没人敢动“基础能力层”的JS文件夹,文件夹命名还是“common-utils-v1.0-beta-legacy”。 审稿间的灯坏了半边,左边亮右边暗,像极了我们给业务方画的数据血缘图:亮的部分是他们在用的那几张宽表;暗的部分,是我们标了“来源可信”却三年没人点开过详情页的七千二百条接口元数据。李工昨天蹲在测试机前调schema mapping,嘴里一直重复一句话:“主键不能推导,必须人工确认”,说完就伸手去摸耳机线,摸了个空——耳机早上被实习生借走了,他现在听的是自己敲键盘的声音。 印刷对接的电话打进来的时候,我正在看一份第三方工具吐出的血缘覆盖率报告。它说92.3%——这数字我敢打包票准是错的。为啥?因为它压根没扫Kafka Schema Registry里那些JSON Schema定义,只读了DDL脚本。可我们线上70%的新消费链路都不走DDL,直接往Schema Registry push avro。那个报告把它全算进“已覆盖”。这事儿我上周五当面说过,对方技术点头说记下了,今天又发来新PDF,页眉写着“v2.3.1_优化后版本”。
文章配图,仅供参考 领导发来的六十秒语音,我听了四遍。第一遍听内容:“要突出平台不是替代,是收敛。”第二遍听停顿:“……尤其注意,别提‘取代’这个词。”第三遍听背景音:隐约有小孩喊“爸爸”,还有抽屉滑轨卡住的“咔哒”声。第四遍我才意识到,他念错了一个词——把“归因路径”念成“归因途经”,但没人敢打断。后来我把这段语音转文字发给产品,她说:“留着吧,真实感强。” 其实“优胜劣汰”真不是虚的。去年下线了六个上游采集任务,不是因为我们强制关停,是它们下游没人订阅了。其中三个,连字段级访问日志里最后一条记录都是2024年春节前的;剩下三个更绝,有人写了个临时脚本从API捞了一次数据,之后再没动过——脚本作者上个月离职了,Git提交记录里只有三行注释:“临时跑数,勿上线”,而脚本路径在我们元数据平台的接入列表里,状态仍是“已纳管·稳定运行”。这事儿我没报,也没改状态,就让它挂着。挂久了,自然会有人来问:这东西到底还在不在跑? 所以“一平台终结数据孤岛”,这话没错。但它终结的方式,不是靠建一个漂亮界面让人主动进来找数据,是靠持续让旧通道变得越来越难用、越来越不可信、越来越等不到响应。当某天财务部发现他们最常用的“销售实收明细_v3_补丁”表,在元数据平台里显示“最近更新时间:2025年6月30日”,而实际物理表昨天就被DROP了,他们就会自己爬过来问:“这表哪去了?”而不是继续在钉钉群里喊:“@王工,麻烦重新跑一下6月的账期数据。” 但这事我目前只敢做一半。另一部分还得靠人。比如今天下午我要陪数据Owner一起review新接入的CRM字段,其中有五个字段标注为“业务关键”,但元数据里没有填任何业务规则,只有类型定义。我准备直接问他:“如果这三个字段下周被下游误用导致对账差错,你愿不愿意在责任书里签个字?”话在嘴边滚了三遍,没出口。先泡了杯茶。茶包在热水里沉下去两次,又浮上来一次,我盯着它,忽然想起上周五实习生问我:“老师,元数据管理工程师,是不是就是专门给人填表的?” 我不知道怎么答。现在也不想答。先让系统自己长出几道疤再说。 (编辑:站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |


数据孤岛下 您的企业只可以望 混合云 兴叹