01 | 基本架构:一个键值数据库包含什么?
01 | 基本架构:一个键值数据库包含什么?
讲述:蒋德钧
时长18:50大小17.24M
可以存哪些数据?
可以对数据做什么操作?
采用什么访问模式?
如何定位键值对的位置?
不同操作的具体逻辑是怎样的?
如何实现重启后快速提供服务?
小结
每课一问
赞 314
提建议
精选留言(125)
- Monday置顶2020-08-13庖丁解牛式的分解,赞,redis原来这么多“道道”,一直是我把redis想简单了,以前只是一个拿来主义,人云亦云说redis好用,引入项目使用就行,没有深入redis背后的功能,所以一直以为redis很简单,希望通过此专栏有深入了解redis。
作者回复: 加油,我们一起交流学习。
120 - 曾轼麟2020-08-03SimpleKV和Redis的对比: 【数据结构】上缺乏广泛的数据结构支持:比如支持范围查询的SkipList,和Stream等等数据结构 【高可用】上缺乏,哨兵或者master-slaver模式的高可用设计 【横向扩展】上缺乏集群和分片功能 【在内存安全性】上,缺乏内存过载时候的key淘汰算法的支持 【内存利用率】没有充分对数据结构优化提高内存利用率,例如使用压缩性的数据结构 【功能扩展】需要具备后续功能的拓展 【不具备事务性】无法保证多个操作的原子性 等等展开
作者回复: 赞,系统性的对比非常详细!我再补一个,内存分配器,SimpleKV就是glibc,Redis的分配器选择更多。
共 5 条评论365 - Kaito2020-08-04缺少的还包括:丰富的数据类型、数据压缩、过期机制、数据淘汰策略、主从复制、集群化、高可用等功能,另外还可以增加统计模块、通知模块、调试模块、元数据查询等辅助功能。
作者回复: 这个比较丰富,赞!
共 4 条评论174 - Darren2020-08-07我觉得还有一个比较重要的点吧,就是安全性,Redis是二进制安全的,不关心序列化和反序列化,但是SimpleKV并没有这块。 再说说Redis比MemCached流行,并且蚕食后者市场份额主要的点就起Redis的数据结构,表面上是数据结构,本质上是”计算向数据迁移”,因为想要高性能,高可用,就需要”快”,memcached的只支持String,想要获取制定的数据,是不可以的,必须全量返回,这就造成了返回体比较大,但是Redis的Hash结构可以返回指定的二级key或者一段List或者Set,返回体小,也标志着痛过网卡的流量少,更符合Redis的epoll的网络模型,尽量不阻塞。展开共 6 条评论138
- 方程2020-08-07Redis不也是根据跳表作为索引的吗
作者回复: 跳表是在Redis的value类型为有序集合时采用的一种数据组织结构,作为集合内元素的索引,在有序集合中进行操作时会依赖于跳表索引。但是从key找到value本身这个过程还是由全局哈希表索引完成。
共 6 条评论91 - 25ma2020-08-04缺一个实现以上功能的程序员共 11 条评论89
- 无名之辈2020-08-27看完想以设计者的角度设计一下。 K-V数据库 设计题(自我设计): ①访问模块 ->网络Socket编程(薄弱项,待加强) ②操作接口 ->curd ③索引模块 ->哈希表 ④数据模型 -> K-String V-基本数据类型+引用数据类型等 ⑤存储 -> 内存or磁盘以及如何存储 再次观看老师的设计,补充一下自己看不到的地方 ①访问模块 -> IO模型设计:网络连接处理、网络请求的解析、数据存储的处理 ②操作接口 -> 根据业务需求扩展:范围查询、exist接口等 ③索引模块 -> 哈希表、B+树、字典树的价高,不同的索引结构在性能、空间消耗、并发控制等方面都具有不同的特性 ④数据模型 -> 不同的数据结构在性能、空间效率方面存在差异,不同的value操作空间存在差异 ⑤存储模块 -> 根据不同的业务场景设计存储,并引出持久化 总结: 以上都是简单的概括,但背后涉及的东西还是挺多的,这个要想搞懂只能自己下功夫了。顺便感慨一下,自己看东西也看的比较浅,很多点就是想不到,但是老师的这种思维方式对我还是挺有帮助的,希望在研究下个技术的时候可以用上。最后非常感谢老师的倾囊相授!!!展开
作者回复: 非常棒的一个思考过程! 而且做了很好的总结和对比,非常有利于知识点掌握,加油!
共 2 条评论59 - 末日,成欢2020-08-05什么都不知道,进步空间还很大34
- Geek_c37e492020-08-14我是小白一个 键值数据库的访问方式 1、动态链接库方式----这个不是很能理解 这种动态链接库是兼容多语言的还是说每种语言都需要自己去实现 动态链接库本身是怎么实现访问的,基于内存的数据库,可能不在程序本身的这个主机上 这个时候是通过socket或者http协议去访问的吗?展开
作者回复: 动态链接库是和语言相关的,例如C++语言实现的库由C++编写的程序调用。 如果用动态链接库实现键值数据库,应用程序可以先实例化动态链接库提供的类,然后调用实例的接口进行数据存取。我还是以SimpleKV举个例子,使用动态链接库方式时,使用方式类似如下:实例化一个db,然后可以进行读写操作。 simplekv::DB *db db.get(key, &value) db.put(key, value) 如果是用动态链接库实现的内存数据库,使用数据库的应用程序需要和库在一个主机上。如果不在同一主机上,就需要通过网络框架访问了,例如建立socket访问。
共 5 条评论31 - 一步2020-08-03使用动态链接库访问键值数据库的时候,是不是数据库的服务端也要和应用在同一个server中?数据库是服务的一部分
作者回复: 是的,这等于你使用键值数据库的应用程序和数据库本身是一个进程了,运行时也在同一个server上。
共 8 条评论20 - 不能扮演天使2020-08-03依据高性能,高可用和可扩展的架构模式,SimpleKV还是主要缺乏高可用和可扩展的设计吧,单机高性能可以通过IO线程模型,数据结构内存模型等实现,其他两种没有😐
作者回复: 没错,和Redis相比,SimpleKV是个单机系统,扩展性就谈不上了,而且它也是个纯粹的内存数据库,高可靠也谈不上了。
共 2 条评论15 - ming2020-08-14文中的SimpleKV有没有源码,个人感觉运行起来,操作下更促进理解每个模块
作者回复: SimpleKV暂时还没有公开的源码,不过我们正在做一个SimpleKV的升级版框架,定义好了接口,可以自行替换其中的索引结构、存储管理、内存管理等模块,到时会开源出来。
共 4 条评论11 - 张洋2020-08-05缺少的功能组件的话就是1.单点问题,2.扩展问题。 有一个问题作为小白不是很懂,就是动态库 和 网络框架进行访问的区别。 网络框架:可以理解为需要通过Socket连接进行操作访问,比如redis 和 kafka (需要客户端进行TCP连接访问操作) 不知道这样的理解对吗? 动态库 不太明白是什么呢,如果是相当于我们平常说的SDK集成调用方法,在本地直接调用SDK即可。那么当这个 数据库不在本地部署的时候,还是需要远程通信进行操作呀。。展开
作者回复: 网络框架理解的没错,此时,redis客户端和redis服务器端通常不在同一个物理机器上,需要过网络。如果是TCP/IP网络,就通过socket进行连接再访问。 动态库和SDK还不太一样,SDK通常封装了访问后端系统的操作,以API形式提供给程序使用。如果访问的后端系统和应用程序不在同一台服务器上,那么SDK中还是会和后端系统建立网络连接,以网络方式访问。而动态库实现的键值数据库相当于是在库里建立数据库的存储结构,一个应用程序调用这个库时就可以直接在本地存取数据了。
共 5 条评论11 - null2020-12-14老师,您好 我们平时说的 redis 集群(指 n 台部署 redis 的机器,其中部署的方案可以是主从复制、哨兵或 redis cluster,是这样么?),不是指 redis cluster 多机部署的方案吧?redis cluster 是不是等于最后一张图的:主从复制+数据分片,同时提供高可用和高可扩展的方案。 是这样理解么?谢谢老师展开
作者回复: 我们平时说的Redis集群主要是指两种: 1)主从复制集群(含哨兵集群),这是用来做读写分离或是可靠性保证的; 2)切片集群,Redis Cluster是一种切片集群的方案,也是Redis官方的方案。Codis则是另一种切片集群方案。 Redis Cluster部署时会同时包含数据分片(为了分担压力)和主从复制(为了可靠性保证),就是同时包含了最后一张图中的高可靠和高可扩展。 多机部署时,如果实例相互之间没有关联,一般只是称为多实例部署。
共 2 条评论9 - Geek_6a58c72020-11-15老师好!Redis中有16个数据库,但一直不知道这个功能设计目的是什么,使用场景是什么,据网上资料介绍集群下只有db0库可以用,所以就更懵逼了,望老师帮忙解惑共 1 条评论8
- Spring4J2020-08-04我觉得缺了一块比较重要的基础设施:序列化和反序列化,这是各种网络中间件必不可少的一点共 1 条评论8
- Decadent゜2020-08-18实现了一个简单的类似Redis的kv数据库,支持多种数据结构,支持RESP2协议,支持数据持久化github: https://github.com/solar-systems/Jodis共 1 条评论7
- longslee2020-08-03还缺一个网站。
作者回复: 论网站的重要性:)
6 - 学个球2020-08-14对于访问模式的动态库方式还是没有很了解。 说一下我个人的理解:采用动态库的访问方式,相当于把客户端和服务端绑定在一起,客户端进行操作的时候直接在本地库里面进行存取操作,就没有涉及到网络通信的过程。 联系到 MySQL ,应该是采用动态库的访问方式。那么MySQL 提供的远程访问功能和这里的网络框架进行访问有什么区别?展开
作者回复: 我们这里提到的动态库访问,其实就不再区分客户端和服务端了,键值数据库就是在动态库里实现的,应用程序实例化动态库提供的类,然后调用实例接口就可以存取数据了。 MySQL之所以能提供远程访问,也是因为它具有网络框架,所以对一个系统来说,实现了网络框架,就可以提供远程访问功能。希望解答了你的疑惑。
共 3 条评论5 - 幽林萌逐2020-08-04缺少了集群模式,以及对象存储,redis里是把对象序列化成json实现的,还缺少了key的生命周期服务,老师后面会讲redis的key生命周期是怎么实现的吗?很好奇4