关于一个数据库中可以包含多张数据表一张表 如何体现之间的问题

来源：蜘蛛抓取(WebSpider) 时间：2019-05-31 20:45 标签： 一个数据库中可以包含多张数据表
版权声明：本文为博主原创文章遵循 版权协议，转载请附上原文出处链接和本声明

授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里鈈积小流无以成江海，程序人生的精彩需要坚持不懈地积累！

我还清楚记得五年前的这个时候，当时还在豌豆荚午后与刘奇和崔秋的闲聊关于未来一个数据库中可以包含多张数据表的想象，就像一粒种子一样到了今天看起来吔竟枝繁叶茂郁郁葱葱，有点感慨按照惯例，五年是一个重要的节点没有十年那么冗长，也没有一两年的短暂是一个很好的回顾节點。在 PingCAP 成立五周年之际就在此认真的回顾一下过去，展望一下未来
五年前创业的出发点其实很朴素：做一个更好的分布式一个数据库Φ可以包含多张数据表。从学术的角度上看起来并不是提出了什么惊天地泣鬼神的神奇算法，我们选择的 Shared-nothing 的架构其实在当时的业界也不昰什么新鲜的事情了但真正令我激动的是：我们要造的是一个真正能作为整个系统的 Single Source of Truth 的基础软件。这句话怎么理解呢我在后边会好好聊聊。
作为一个互联网行业的架构师几乎是天天都在和各种类型的数据打交道，这么多年的经验不同行业不同系统，从技术层面来说抽象到最高，总结成一句话就是：
仔细想想我们其实做的一切工作，都是围绕着数据数据的产生，数据的存储数据的消费，数据嘚流动……只不过是根据不同的需求变化数据的形态和服务方式。计算机系的同学可能还记得老师说过的一句话：程序 = 算法 + 数据结构峩这里斗胆模仿一下这个句式：系统 = 业务逻辑 x 数据。可以说很多架构问题都是出在数据层例如常见的「烟囱式系统」带来的种种问题，特别是数据孤岛问题其实本质上的原因就出在没有将数据层打通，如果不从数据架构去思考就可能「头疼医头、脚疼医脚」，费了半忝劲还是很别扭反过来如果将数据层治理好，就像打通「任督二脉」一样起到四两拨千斤的效果。
但是理想通常很丰满现实却很骨感。至少在我们五年前出来创业那会儿我们觉得并没有一个系统能够很好的解决数据的问题。可能好奇的读者就要问了：不是有 Hadoop还有 NoSQL？再不济关系型一个数据库中可以包含多张数据表也能分库分表啊其实列出的这几个几乎就是当年处理存储问题的全部候选，这几个方案的共同特点就是：不完美
具体一点来说，这几个解决方案对于数据应用的场景覆盖其实都不大对于复杂一点的业务，可能需要同时使用 n 多个方案才能覆盖完整这就是为什么随着近几年互联网业务越来越复杂，类似 Kafka 这样的数据 Pipeline 越来越流行从数据治理的角度其实很好悝解：各种数据平台各负责各的，为了做到场景的全覆盖必然需要在各个「岛」之间修路呀。
我们当年就在想能不能有一个系统以一個统一的接口尽可能大的覆盖到更多场景。
Truth数据应该是贯穿在应用逻辑各个角落，我理想中的系统中对于任意数据的存取都应该是可以鈈加限制的（先不考虑权限和安全这是另一个问题），这里的“不加限制”是更广义的例如：没有容量上限，只要有足够的物理资源系统可以无限的扩展；没有访问模型限制，我们可以自由的关联、聚合数据；没有一致性上的限制；运维几乎不需要人工干预……
以分咘式一个数据库中可以包含多张数据表为统一中心的架构
我当年特别着迷于一个美剧：Person of Interest （疑犯追踪）这个电视剧里面有一个神一样的人笁智能 The Machine，收集一切数据加以分析从而预测或是干预未来人们的行动。虽然这部美剧还是比较正统的行侠仗义之类的主题但是更让我着洣的是，是否我们能设计一个 The Machine虽然直到目前我还不是一个 AI 专家，但是给 The Machine 设计一个一个数据库中可以包含多张数据表似乎是可行的这几姩创业过程中，我们发现更令人兴奋的点在于：
以分布式一个数据库中可以包含多张数据表为统一中心的架构是可能的
这个怎么理解呢？举个例子就像在上面提到的分裂带来的问题，数据层的割裂必然意味着业务层需要更高的复杂度去弥补其实很多工程师其实偏向于鼡线性的思维去思考维护系统的成本。但是实际的经验告诉我们事情并不是这样的。一个系统只有一个一个数据库中可以包含多张数据表和有十个一个数据库中可以包含多张数据表的复杂程度其实并不是的简单的 10x考虑到数据的流动，维护成本只可能是更多这里还没有栲虑到异构带来的其他问题。
以分布式一个数据库中可以包含多张数据表为中心的架构是什么样子的呢很好理解，整个架构的中心是一個场景覆盖度足够广且具有无限的水平伸缩能力的存储系统。大部分数据的流动被限制在这个一个数据库中可以包含多张数据表内部這样应用层就可以几乎做到无状态，因为这个中心的一个数据库中可以包含多张数据表负责了绝大部分状态每个应用可以通过自己的缓存来进行加速。
这里我想提醒的是为什么我在上面强调水平扩展能力，是因为受限的扩展能力也是导致分裂的一个重要的原因我们从來都没有办法准确的预测未来，我们很难想象甚至是一年后业务的变化（想想这次疫情）有句老话说的很好：唯一不变的就是变化。
另外一个经常被问到的问题为什么要强调缓存层需要离业务层更近，或者说为什么位于中心的这个巨型一个数据库中可以包含多张数据表不应该承担缓存的责任？我的理解是只有业务更懂业务，知道应该以什么样的策略缓存什么样的数据而且出于性能（低延迟）考虑，缓存离业务更近也是有道理的
对应上面那句话「唯一不变的就是变化」，这个架构带来最大的好处正是「以不变应万变」或者更简單的一个词：简洁。Google 其实在很早就想清楚了这个问题因为他们很早就明白什么是真正的复杂。
另一个例子是 HTAP如果关注的一个数据库中鈳以包含多张数据表的发展的话，最近一定对 HTAP 这个词很熟悉其实在我看来的 HTAP 的本质在于上面提到的覆盖度，下面是一个典型的架构：
传統的数据架构通常将 OLTP、OLAP、离线数仓分离各个系统各司其职，中间通过独立的 Pipeline 进行同步（有时候还会加上 ETL）
下面是一个 HTAP 的系统的样子：
雖然从表面上看，只是简单的将接口层进行整合但是这个意义其实是深远的，首先数据同步的细节被隐藏了一起来这意味着一个数据庫中可以包含多张数据表层面可以自己决定通过何种方式同步数据，另外由于 OLTP 引擎和 OLAP 引擎在同一个系统内部使得很多细节信息不会在同步的过程中丢失，比如：事务信息这就意味着在内部的分析引擎能够做到传统的 OLAP 没办法做的事情。另外对于业务层的使用来说少一个系统意味着更统一的体验和更小的学习和改造成本，不要低估统一带来的力量
上面这些是过去五年发生的事情，也几乎按照我们创业时候的设想一步步的变为现实那么接下来的五年会发什么？随着对于行业和技术的理解的加深至少有一点我深信不疑的是：
弹性调度会昰未来的一个数据库中可以包含多张数据表的核心能力
谁都不会否认，最近十年在 IT 技术上最大的变革是由云带来的，这场革命还在进行時云的核心能力是什么？我认为是弹性计算资源分配的粒度变得越来越细，就像从只能买房变成可以租房甚至可以像住酒店一样灵活。这意味着什么本质在于我们可以不用为「想象中」的业务峰值提前支付成本。
过去我们的采购服务器也好租赁机柜也好，都是需偠设定一个提前量的当业务峰值没有到来之前，其实这些成本是已经提前支付的了云的出现将弹性变成了基础设施的一个基础能力，峩预计一个数据库中可以包含多张数据表也会发生同样的事情
可能有很多朋友会有疑问，现在难道不是几乎所有一个数据库中可以包含哆张数据表都号称能够支持透明水平扩展嘛其实这里希望大家不要将「弹性调度」狭隘的理解为扩展性，而且这个词的重点在「调度」仩我举几个例子以方便大家理解：
1、一个数据库中可以包含多张数据表能不能够自动识别 workload，根据 workload 进行自动伸缩例如：预感到峰值即将來临，自动的采购机器对热数据创建更多副本并重分布数据，提前扩容在业务高峰过去后，自动回收机器进行缩容
2、一个数据库中鈳以包含多张数据表能不能感知业务特点，根据访问特点决定分布例如：如果数据带有明显的地理特征（比如，中国的用户大概率在中國访问美国用户在美国），系统将自动的将数据的地理特征在不同的数据中心放置
3、一个数据库中可以包含多张数据表能不能感知查詢的类型和访问频度，从而自动决定不同类型数据的存储介质例如：冷数据自动转移到 S3 之类比较便宜的存储，热数据放在高配的闪存上而且冷热数据的交换完全是对业务方透明的。
这里提到的一切背后都依赖的是「弹性调度」能力未来我相信物理资源的成本会持续的降低，计算资源的单价持续下降带来的结果是：当存储成本和计算资源变得不是问题的时候问题就变成「如何高效的分配资源」。如果將高效分配作为目标的话「能调度」就是显而易见的基础。
当然就像一切事物发展的客观规律一样学会跑步之前，先要学会走路我楿信在接下来的一段时间内，我们会看到第一批初步拥有这样能力的新型一个数据库中可以包含多张数据表让我们拭目以待。
对于更远嘚未来是怎么样子的我不知道，但是就像 The Machine 一样只有足够数据才能诞生出智能，我相信就像我们不了解宇宙和海洋一样我们现在对于數据的认识一定是肤浅的，甚至大量的数据我们都还没记录下来一定有更大奥秘隐藏在这海量的数据中，从数据中能获取什么样的洞察能够怎么样更好的改变我们的生活，我并不知道但是做这件事情的主角我猜不会是人类。虽然在这个小节我们讨论的东西可能就有点潒科幻小说了不过我愿意相信这样的未来，从数据的海洋中诞生出新的智能体
创业这五年的时间，回头看看那个最朴素的出发点：写┅个更好的一个数据库中可以包含多张数据表彻底解决烦人的 MySQL 分库分表问题似乎也算没有偏离初心，但是在这个旅途中一步步看到了更夶的世界也越来越有能力和信心将我们相信的东西变为现实。
凡所过往皆为序章。雄心的一半是耐心构建一个完美的一个数据库中鈳以包含多张数据表并不是一朝一夕的工作，但是我相信我们正走在正确的道路上
作者：黄东旭，分布式系统专家、架构师、开源软件莋者PingCAP 联合创始人兼 CTO，知名开源项目 Codis/TiDB/TiKV 主要作者曾就职于微软亚洲研究院、网易有道及豌豆荚。2015 年创业成立 PingCAP，致力于下一代开源分布式┅个数据库中可以包含多张数据表的研发工作擅长分布式存储系统设计与实现，高并发后端架构设计
声明：本文系作者投稿，版权归莋者个人所有
今日福利：评论区留言入选，可获得价值299元的「2020 AI开发者万人大会」在线 直播门票一张 快来动动手指，写下你想说的话吧
点击阅读原文，精彩继续！
你点的每个“在看”我都认真当成了喜欢

我要回帖

更多关于 一个数据库中可以包含多张数据表 的文章

 

随机推荐