湖仓一体没有那么玄但确实解决了老问题
上周跟一个做零售的企业数据负责人吃饭，他从头骂到尾，说之前的数仓架构简直是给自己找罪受。
公司前几年攒了快两百PB的原始用户数据，全存在数据湖里，便宜是真便宜，查起来慢到离谱。要给业务出个月度的用户消费报表，得先把湖里的原始日志导出来，跑三四层清洗脚本，同步到专门的数仓里建模，等报表出来，运营的活动复盘会都开完一周了。更麻烦的是两边权限完全独立，安全团队要给数仓配一遍访问规则，湖那边还要再配一遍，漏一次就是合规事故。太蠢了。
他现在换了湖仓一体的方案，说终于不用天天盯着ETL同步脚本报错了。但也没吹的那么神，中间踩的坑能写三页A4纸。
老架构的死穴从来不是存不下数据
很多人聊起之前的数据湖加数据仓的组合，总说这是两代技术的割裂，其实根本不是技术迭代的问题，是从一开始设计的时候，就把”存原始数据”和”算结构化指标”拆成了两个完全独立的系统。
数据湖的设计初衷就是低成本存所有类型的数据，不管是结构化的交易记录，还是半结构化的用户行为日志，甚至是非结构化的商品图片、客服录音，只要是数据就往里塞。但它天生就不是为了快速出数设计的，没有分层建模，没有统一的元数据管理，业务人员根本没法直接用。数仓呢？反过来，是专门为了快速算指标设计的，分层清晰，查询效率高，但存储成本是数据湖的三四倍，还必须得把数据从湖里搬过来才能用。
这一搬，问题就全来了。同步的延迟、数据格式的不兼容、两边权限的不对等、重复存储带来的成本浪费，每一个都是要天天擦屁股的烂摊子。
说白了，之前的架构本质上是把数据当货物，从一个仓库拉到另一个仓库，中间要装卸、清点、登记，每一步都有损耗。
落地湖仓一体最先要算的不是技术账是人力账
我之前听过一个云厂商的线下沙龙，台上的讲师把湖仓一体吹成了能解决所有数据问题的万能药，台下坐的企业CIO眼睛都亮了，当场就问采购流程。说真的，我在旁边听着都尴尬。
湖仓一体的逻辑其实很简单：把原来分开的存储和计算层完全打通，一份数据存在统一的存储层上，既可以直接跑机器学习的训练任务，也可以直接跑结构化的SQL查询出报表，不用再来回同步搬运。湖仓一体的核心价值从来不是技术本身的先进性，而是砍掉了原来架构里重复的数据同步环节。
但这事没那么容易。去年接触过一个做内容的平台，上来就买了最贵的商业湖仓产品，团队想着三个月就能完成切换，结果呢？原来的数仓团队写了快十年的Hive SQL，对新的湖仓引擎的语法、权限模型、存储优化逻辑完全不熟悉，光把原来的数仓分层模型适配到新的存储格式上就花了四个月，中间还出了两次数据口径不一致的事故，被业务部门追着骂。
更离谱的是，团队之前根本没考虑旧任务的迁移成本，原来的跑批任务都是按照老架构的延迟设计的，直接导到新架构上，跑批时间从原来的3小时变成了11小时，差点把月底的报表给耽误了。
很多团队落地失败的根本原因，不是技术不行，是压根没算清楚架构切换的人力账。你要换湖仓，至少要留出来两到三个月的适配期，要有人重新梳理所有数据的存储格式，把原来成千上万的同步脚本全部砍掉，还要给业务侧的分析人员做培训，不然大家还是按照老习惯把数据导来导去，跟之前的老架构没区别。
别把湖仓一体当成架构升级的终点
现在很多团队的认知是，上了湖仓一体，就算完成了数据架构的现代化升级，可以高枕无忧了。真不是。
我见过最离谱的一家公司，花了几百万买了商业湖仓的席位，结果原来的BI工具不支持直连湖仓引擎，团队还是每天写定时脚本，把湖仓里算好的指标数据导回原来的老数仓，给BI做报表用。那你花这几百万干啥？当摆设吗？
还有个更普遍的问题，就是数据治理的窟窿。原来的数仓里，大家还会按照统一的规范建表，字段命名、口径定义都有统一的标准。上了湖仓之后，大家觉得存储便宜了，什么数据都往湖里塞，同一个用户ID，在用户中心的表叫user_id，在订单表叫uid，在广告投放表叫member_id，没有统一的元数据管理，找个数据要翻半天的目录，就算湖仓的查询速度再快，也提不上效率。
说白了，湖仓一体只是给你提供了一个更好的存储和计算的底座，不是给你兜底解决所有问题的。如果你的团队原来连基本的数据口径都没统一，连基本的权限管控都做不好，就算换了最先进的湖仓架构，最后还是会变成一个存满了垃圾数据的大仓库，跟之前的老数据湖没区别。
上周跟那个零售行业的负责人再通电话，他说现在用了快半年湖仓，原来专门做ETL同步的团队裁了一半，剩下的人全部转去做数据治理和业务需求支撑，算下来每个月光服务器和人力成本就省了快四十万。当然也有闹心的时候，上个月有个算法团队要训练推荐模型，直接把湖里面的全量用户数据拉去跑训练，占满了整个集群的存储IO，把当天的跑批任务全部卡停，最后花了六个小时才把资源抢回来，差点耽误了大促的报表。
技术从来没有银弹。湖仓一体也一样。它只是刚好踩中了现在企业数据量爆炸、计算成本高的痛点，帮你解决了原来架构里最蠢的那部分重复劳动而已。别神化它，也别否定它。