数据云平台上的鸿星尔克们可以很快扩大产能吗?
如果你还不了解云数仓,那我们不妨先拿鸿星尔克发紧急通知求大家退款这件事举个栗子
一家鞋厂的生产经营离不开原材料、仓库和流水线、管理系统和工人。在数字世界里,与原材料、仓库和流水线、管理系统、工人、灵活生产相对应的分别是数据、存储和计算资源、DBMS(数据库管理系统)、DBA(数据库系统管理员)、弹性扩容。
灵活生产对企业供应链来讲是个老大难的问题,企业很难预测需要多少生产线和设备,要么花钱买超出实际需求的生产线以备不时之需,但是遇到诸如疫情这类不利环境,早早投入的资金可能会成为压垮企业的最后一根稻草;要么省钱按需购买设备,但是面对突如其来的业务需求便会束手无策。
财务状况不佳的鸿星尔克选择了后者,所以我们看到了由于订单大量涌入导致其系统崩溃,40多款产品跟不上需求,各地仓库售空,主生产线超负荷生产。因此才有了鸿星尔克呼吁大家理性消费,退掉目前没有库存的商品。
企业在上云之前,数据管理的实际状况其实跟做实体的鸿星尔克差不多。很少有企业在数据管理和应用上做到了真正的弹性扩容(相当于鞋厂灵活生产订单)。即便很多企业和机构已经建设私有云,也要专门培养一个Infrastructure Team(数据基础设施建设团队)来管理硬件和数据库系统,这样一个团队的成本对一些大型企业来说尚且勉强承受,但是对大多数企业是极高的门槛。即便企业有意愿在此投入,遇到实际问题例如购买软件授权、系统调优、问题修复等都是繁琐且有挑战工作,这也是为什么市场上专业运维数据库的DBA是很贵的。
面对这样的困境,快速发展的云原生数据仓库技术给出了解决方案:云上有足够的数仓计算资源,用多少租多少,不需要了还可以退。还有专业的数仓运维团队代替用户来维护云上的数据仓库,所以云上的数据仓库就演化成一种服务:生产原料(Data)进来,存在哪、如何存,这些用户都不需要知道。就像买鸿星尔克的运动鞋,你不需要知道是哪条生产线制造的;去海底捞吃火锅,你也不需要知道是哪个师傅切的羊肉。
上了云数仓,不但省钱了还省心了。因此,对企业来说,云数仓无疑是云时代数据管理的最优解。同时,像Adobe、DHL、Cisco、Capital One、Pinterest这些大企业已经在使用云数仓了。
传统数仓搬上云就是云数仓?
并不是!上云的传统数仓不是云数仓,好比性感美女在海边游了十公里,她仍然不是美人鱼,装了Pad的拖拉机仍然不是智能汽车。
云数仓的设计要求从底层逻辑上考虑云时代的特性,也就是要求云原生数仓(Cloud Native Data Warehouse),开篇背景提到的云数仓以及接下来对云数仓的分析,本质上都是再谈云原生数仓。
什么是云原生数仓呢?
很多人都套用CNCF(云原生计算基金会)对“云原生”的定义:云原生的代表技术包括容器、服务网格、微服务、不可变基础设施和声明式API。简单的认为,云原生+数仓=云原生数仓,却忽略了我开篇提到的企业上云最基本的背景——弹性扩容。
云原生数仓和传统数仓有什么区别?
云原生数仓没有固定成本,需要时候发一个query,不需要的时候把机器关掉也可以,除了数据存储产生少量费用以外,几乎没有任何固定成本。
传统数仓需要一个庞大的IT团队进行硬件维护和数据库调优,都会产生居高不下的运营成本,而这些在云数仓供应商和云服务供应商那都通过低成本的服务得以化解。
弹性扩容方面,需要大数据分析应用的时候,你在云上有接近无限的扩容能力,而不需要的时候你甚至可以一台机器都不开启。
灾难恢复方面,诚然,传统企业可以通过建造自己的机房将数据备份做到极致,但是遇到台风、地震、火灾,或者像郑州暴雨这种一小时下150个西湖的暴雨,那必然是无法进行灾备的。而云数仓可以通过云平台在不同地域的数据中心进行备份。
云数仓的软件更新不需要像传统数仓厂商的工程师抵达现场进行软件更新,当一些用户在使用新功能时遇到了意外状况,可以选择回滚到前一个版本。
尽管传统数仓在性能优化方面比较成熟,尤其是有些用户会大手笔购买一体机(如Teradata一体机),但并不意味着云数据仓库的性能会逊于传统数仓,像OushuDB基于云环境进行数据库内核调优(如优化器和执行器的调优),已经具备显著优于传统数仓的性能,带来更高的性价比。
数据安全可能是很多用户最关注和敏感的,像很多科技巨头如谷歌、苹果都可以通过专业的数据安全团队,实现合规、标准的安全流程和复杂的加密算法,达到跟专注安全的云数仓厂商差不多的安全保障。但是很多中小企业没有精力、能力和财力专门搞数据安全,数据放在自己的机房里很可能倒不如放到云数仓用起来更安全。
对比以上几个方面,不难看出云数仓几乎吊打传统数仓,可预见的未来会有更多的用户向云数仓迁移。通过介绍云数仓兴起的背景以及传统数仓和云数仓的差异,希望数据世界里如履薄冰的鸿星尔克们能找到适合自己的数据管理方案,让“灵活生产”不再成为经营难题。
如果小伙伴们感兴趣,我们可以接下来的内容中具体聊下云原生数仓是如何打造
关于偶数
偶数科技是一家总部位于北京的云数据仓和AI产品提供商,致力为全球各行业客户提供大数据和AI产品及行业解决方案。我们的愿景和使命是“用科技让人类只为兴趣而工作”。目前偶数科技已经获得来自红杉中国、红点中国、金山云以及产业科技巨头的融资。
公司核心产品“偶数数据云Oushu Data Cloud”由“新一代云原生数据仓库OushuDB”、“自动化机器学习平台LittleBoy”以及“数据管理平台Lava ”组成。产品已在金融、互联网、电信、政府等行业数百家头部企业得到广泛应用。
偶数科技同时是微软加速器和腾讯加速器成员企业,并入选美国著名商业杂志《快公司》 “中国最佳创新公司 50”榜单。