33 | 我查这么多数据,会不会把数据库内存打爆?
33 | 我查这么多数据,会不会把数据库内存打爆?
讲述:林晓斌
时长14:33大小13.29M
全表扫描对 server 层的影响
全表扫描对 InnoDB 的影响
小结
上期问题时间
赞 50
提建议
精选留言(87)
- 700置顶2019-01-28老师,您好。根据文章内容,提炼如下信息: 如果你看到 State 的值一直处于“Sending to client”,就表示服务器端的网络栈写满了。 如何处理? 1)使用 mysql_store_result 这个接口,直接把查询结果保存到本地内存。 2)优化查询结果,并评估这么多的返回结果是否合理。 3)而如果要快速减少处于这个状态的线程的话,将 net_buffer_length 参数设置为一个更大的值是一个可选方案。 对于第3)方案不是很懂,“Sending to client” 表示服务器端的网路栈写满了,那不是应该加大 socket send buffer 吗?跟加大 net_buffer_length 有什么关系?net_buffer_length 加再大,但 socket send buffer 很小的话,网络栈不还是处于写满状态?展开
作者回复: 好问题👍 很好的思考👍 是这样的,net_buffer_length 的最大值是 1G,这个值比 socket send buffer大(一般是几M) 比如假设一个业务,他的平均查询结果都是10M (当然这个业务有有问题,最终是要通过业务解决) 但是如果我把net_buffer_length 改成10M,就不会有“Sending to client” 的情况。虽然网络栈还是慢慢发的,但是那些没发完的都缓存在net_buffer中,对于执行器来说,都是“已经写出去了”。
共 10 条评论97 - 长杰2019-01-28遇到过一个场景,用mysqldump对业务db做逻辑备份保存在客户端,客户端是虚拟机,磁盘很快满了,导致server端出现sending to client状态,更糟糕的是业务db更新频繁,导致undo表空间变大,db服务堵塞,服务端磁盘空间不足。
作者回复: 非常好,正是我要说明的一个场景呢,直接用你的例子放在下篇答疑部分哈
共 4 条评论87 - IceGeek172019-02-14老师你好,几个问题: 按照文中所述,net_buffer是属于MySQL Server层的,在InnoDB引擎层,会使用buffer pool (以page的形式),也就是一个查询所占用的内存是: net_buffer + buffer pool里相关的page页 是不是可以这么理解? 当net_buffer写满,会调用网络接口发出去,net_buffer里的内容是如何发给socket send buffer的, 是一行一行的扔给socket send buffer,还是把net_buffer 里的内容一下子全部扔给 socket send buffer ? 文中说发送成功然后清空net_buffer, 这里net_buffer是如何清空的,是等net_buffer里的内容全部发送成功,然后一次性清理,还是发送成功一部分清理一部分? 看了置顶的700问题和回复,几点疑问: 对于一个查询,执行器拿到的所有结果,如果可以一次性放入net_buffer, 对于执行器来说是不是意味着“全都写出去了”,也就不会有 sending to client 状态? 只有当查询的结果,不能够全部放入net_buffer,需要等net_buffer里的内容清空后再继续放入后续的结果,这时候状态才是显示 sending to client ? 当查询结果可以全部放入net_buffer, 执行器也不管 net_buffer是否发送给 socket send buffer,都认为执行完了 ? 是不是这么理解? 对buffer pool,当通过LRU 淘汰数据页的时候,如果此时该页的内容是新的(也就是磁盘上的内容是老的),是不是需要强制先走一个刷脏页的流程,等脏页刷完了,然后才能淘汰该数据页?展开
作者回复: 1. “是一行一行的扔给socket send buffer,还是把net_buffer 里的内容一下子全部扔给 socket send buffer ?” ---- net_buffer写满,一起发,然后清空net_buffer,组装下一批 。好问题 2. 跟上一个问题同一个答案; 3. “对于一个查询,执行器拿到的所有结果,如果可以一次性放入net_buffer, 对于执行器来说是不是意味着“全都写出去了”,也就不会有 sending to client 状态?” ----是的 4. 是的 5. 对,这个就是我们其他文章中介绍的,“带着邻居节点一起刷”的那个阶段。
共 6 条评论61 - XXL2019-02-14请教老师一个问题, 之前在开发工程中实际有碰到这样的业务,批量从MySQL中查询大量数据,每次通过限制起始+limit数量的来分批次查询,后来有同事推荐使用MySQL JDBC中的fetchSize()方法,不做分页通过一次大查询然后客户端流式读取来批量查询数据,这个内部原理是否就是文中所说的使用了mysql_use_result接口读一行处理一行实现的流式?或者也是mysql_store_result方式客户端边缓存边处理?请老师指教展开
作者回复: 对,这种一般就是用mysql_use_result 各有优劣吧 一次性取的好处是,对服务端只全表,只扫描一遍;坏处是可能会出现大事务。 一般更常见的做法是,分批取,然后每一批拿到最大的一个id(主键值) 下一批查询的时候用 where Id > N 这种写法 好问题
共 2 条评论53 - Leon📷2019-01-30如果客户端读结果不及时,会堵住 MySQL 的查询过程,但是不会把内存打爆。这个是指客户端的tcp滑动窗口处理没有及时确认,导致server端的网络协议栈没有多余的空间可以发送数据,导致server的处理线程停止从db读取数据发送给client,是这样理解吗
作者回复: 对的
46 - 清风2019-03-30net_buffer 应该是针对每个请求线程单独分配的,还是共享net_buffer . 我的理解应该是每个线程一块。mysql 可以根据最大请求连接数,能够算出来mysql 使用net_buffer 的总大小。同时如果mysql 占用的内存不大,也将影响到Mysql 能够处理连接连接数的大小。 不知道这种猜测是否准确。 后面那个改进型的LRU 算法真的非常好,就跟JVM 中年轻带 老年代的内存区域划分和淘汰机制一样。在做系统设计的时候可以把这种设计应用一下。
作者回复: 你的理解是对的,每个线程(session)一个
35 - 老杨同志2019-01-28本身是研发没过这种经历。猜一种吧 如果客户端A性能慢,迟迟不去读取socket receive buffer,server端就不能发送,此时如果客户端A要读取的数据被其他线程频繁update,由于mvcc的实现,这个变更会记录到undo log,大量的日志会不会使io飙升?可能比较极端才会吧。如果此时客户端性能恢复,服务端要读取最新数据,并通过undo log计算较早的版本,是不是要也占用大量的cpu资源或者io资源?谢谢老师展开
作者回复: 👍 再考虑下都是update的情况 😆
共 3 条评论27 - Zzz2019-01-28林老师,有几个问题想请教以下: 1、哪种查询语句下MySQL 是“边读边发的”的呢?对于order by这种语句肯定是需要先全部拿到内存再做排序处理最后返回结果。 2、MySQL是怎么判断出可以“边读边发的”,是不是看下语句是否带order by这种关键字? 3、我有办法知道该执行语句是否“边读边发的”吗?展开
作者回复: 这三个问题其实是同一个 “边读边发”的意思是,算出来的结果才能发 像order by,得先排序得到结果,然后才发出去,如果读了数据直接发,那肯定不行,那是错误的结果。 所以要排序了以后再发,这时候就需要中间数据结构,sort buffer
共 6 条评论21 - 冰点182019-04-01InnoDB改进的LRU算法,如果遇到连续两次的全表扫描,会不会就把young区的3/5给覆盖掉了?因为两次扫描时间间隔会超过一秒?
作者回复: 会的
共 4 条评论17 - ipofss2020-03-16MySQL是“边读边发”的,所以对于一个大查询,不会在server层把数据库内存打爆。 而对于innodb内部,也使用了改进的LRU算法,去使用内存,所以也不会把内存打爆。 老师,有个问题: 既然数据是“边读边发”的,对于一个读请求,如果时间太长了,而没有处理完,另外一个写请求进来了,如何保证前面的读请求不会读到脏数据? 我的理解是MVCC控制的,只去读取当时的数据,即使后来进行了数据的增、删、改,但是读的时候,只去读取当时的那个版本。展开
作者回复: 理解正确的👌
12 - 钱2019-08-04用一个小勺子怎么吃完一碗米,想必大家都会,哈哈。这个和边读边发异曲同工呀!
作者回复: 你这个例子不错😆
共 2 条评论10 - 克劳德2019-01-28最近系统出现了由于查询大量数据而导致服务不可用的情况,当时第一反应是数据库内存打满了,后来发现数据库正常,应用服务因为OOM挂掉了,虽然这个问题解决了,但一直担心如果应用服务并发这样的查询语句,MySQL是否也会OOM。所以说今天这篇文章真是太及时了。 一直有一个疑问,我个人理解用户进程挂掉的根本原因几乎都是来自内存(访问非法地址或者OOM等)。既然MySQL在查询大量数据时不会导致OOM,在连接数和内存大小方面如果参数设置合理应该也不会导致OOM,那还有什么情况可以使MySQL挂掉?展开
作者回复: 一般我们说“MySQL挂掉”,大多数情况下就是响应慢了; 如果说重启的话, 有一种是InnoDB 读 io迟迟不返回,会自己重启; 还有是innodb_buffer_pool_size 设置太大,再加上server层使用的内存,导致内存超过系统上限被oom。我们说一个大查询不会打爆,但是如果很多并发查询,还是可能的。
10 - 几近虚年2019-02-20老师,看了课文和留言,有个问题有点懵。 Sending to client 状态,到底是体现了服务端的网络栈 socket receive buffer 写满了(客户端未及时读取),还是 net_buffer 满了,还有查询结果没有写入到 net_buffer 中?
作者回复: 网络栈 socket receive buffer 写满了
共 7 条评论8 - zzz22019-02-13老师 ,请问mysql内存命中率和缓存命中率qcache hits是什么关系?
作者回复: qcache hits说的就是查询缓存命中率吧 一般我们说内存命中率,一般是指buffer pool命中率
共 2 条评论7 - SICUN2019-01-29老师,您好,有两个问题麻烦解惑一下 1.扫描200G的表时数据会先放到InnoDB buffer pool,然后发送时在读取到net_buffer吗? 2.如果是的话,异常情况导致socket send buffer被写满,是不是会出现InnoDB buffer中的某一页有可能出现读取后面的行时,超过1s,而被放到yong区域的情况? 不知道这样表述或者理解的对吗
作者回复: 1. 是 ,但是也不是“全部放到buffer pool以后”才发,读的时候是一个page 一个page 地读的 2. 会,好在这个是“某一页”而已,量不大。 好问题 很好的思考
7 - 天使梦泪2019-01-28老师,我有个问题不明白,mysql从缓存中取数据,缓存里的数据是怎么实现可以保存一段时间的?
作者回复: “保存一段时间”是啥意思,LRU算法不是按照时间的哈,如果没人来淘汰,是可以一直保存的。
7 - 如明如月2019-01-28之前有特殊功能需要从主要业务库拉取指定范围的数据到另外同一个库的其他数据表的动作(insert into xxxxx select xxx from xxx 这种操作)数据量在万级或者十万级,对于这种操作,和本文讲的应该有些不同吧?能否帮分析一下这种场景的大致情况呢?或者有什么好的建议吗?
作者回复: 嗯,这个不会返回结果到客户端,所以网络上不会有问题 引擎内部的扫描机制是差不多的 唯一不同是这个过程可能对原表有行锁(如果设置的是RR) 万或者十万还好,是小数据,可以考虑拿到客户端再写回去,避免锁的问题
7 - 00江2019-01-28文中提到: 服务端是边读边发的 即服务端读取发送,读取发送,重复这个过程,那么为什么会出现客户端不能接受结果呢( 由于客户端压力太大,迟迟不能接收结果)
作者回复: 就是客户端不去读 比如客户端压力很大,cpu没有轮转不到; 或者读完一行数据后,又去读别的系统(比如搜索系统),和类似的耗时操作
共 2 条评论7 - 尘封2019-01-28如果一行数据超过了net buffer length的默认值16KB会如何?
作者回复: 满16k就发给socket send buffer
共 5 条评论7 - Ryoma2019-01-28有两个问题: 0:MySQL 中的新生代和老生代的名字这么反人类的么 1:我在使用show engine innodb status看Buffer Pool时,发现Buffer Pool有8个(0~8),请问老师这个是什么策略呢?
作者回复: 0 😆 1. 搜一下 innodb_buffer_pool_instances 这个参数的解释哈
6