37 | 什么时候会使用内部临时表?
37 | 什么时候会使用内部临时表?
讲述:林晓斌
时长13:54大小12.70M
union 执行流程
group by 执行流程
group by 优化方法 -- 索引
group by 优化方法 -- 直接排序
小结
上期问题时间
赞 46
提建议
精选留言(63)
- 老杨同志2019-02-06请教一个问题:如果只需要去重,不需要执行聚合函数,distinct 和group by那种效率高一些呢? 课后习题: 图8,把统计结果存内存临时表,不排序。id是从1到1000,模10的结果顺序就是1、2、3、4、5。。。 图9,老师把tmp_table_size改小了,内存临时表装不下,改用磁盘临时表。根据老师讲的流程,id取模的结果,排序后存入临时表,临时的数据应该是0,0,0,0,0,0,0,0,0,0,1,1,1,1,1,1,1,1,1,1,2,...... 从这个磁盘临时表读取数据汇总的结果的顺序就是0,1,2,3,4,5。。。展开
作者回复: 新年好 好问题,我加到后面文章中。 简单说下结论,只需要去重的话,如果没有limit,是一样的; 有limit的话,distinct 快些。 漂亮的回答👍
共 4 条评论110 - 长杰2019-02-06图九使用的是磁盘临时表,磁盘临时表使用的引擎是innodb,innodb是索引组织表,按主键顺序存储数据,所以是按照m字段有序的。
作者回复: 👍🏿 春节快乐
共 3 条评论71 - 天王2019-02-28内部临时表,和sort buffer,join buffer一样,都用来存放语句执行过程中的中间数据,辅助语句的执行。 使用用法 using temporary。 使用场景:1 数据一边查询,一边直接得到结果,不需要额外内存。比如:group by 需要计算。 2 join_buffer 是无序数组(单字段,可以重复),sort_buffer 有序数组,内部临时表是二维结构 3 用到二维表的特性需要用到内部临时表,比如 distinct ,group by 优化:1 group by 字段加索引 2 扩大临时表内存大小 3 如果数据量比较大,直接使用磁盘临时表 4 如果分组之后,不需要排序,手工 order by null group by 的顺序 1 创建一个内部临时表,初始化字段 a(分组字段) b(数量) 2 扫描表,一个个的判断,a字段值在临时表不存在,则插入(2,1),如果存在,比如(2,1),则加1,成为(2,2) 3 分组之后,默认会进行排序,如果不需要顺序,用 order by null。展开
作者回复: 👍很好的总结
47 - Sinyo2019-02-28老师好, 我用infobright列式存储引擎explain出来一个group by语句, 发现也会用到内存临时表和文件排序、然后使用SQL_BIG_RESULT也有同样优化效果; 这是不是说明sort_buffer、join_buffer、内存临时表和磁盘临时表与数据库引擎类型其实是独立开的呢?
作者回复: 是的,非常好的验证和思考👍 sort_buffer、join_buffer、内存临时表和磁盘临时表 都是server层的,引擎间共用
共 3 条评论40 - IceGeek172019-02-21文中说,SQL_BIG_RESULT这个hint,用来告诉优化器直接用磁盘临时表, 对于文中的例子 select SQL_BIG_RESULT id%100 as m, count(*) as c from t1 group by m; 则没有使用临时表,直接用了排序算法,这里有点不太明白,SQL_BIG_RESULT这个hint到底用来提示的是什么(是用磁盘临时表,还是就是直接使用排序,不用临时表)? 文中 “MySQL优化器一看,磁盘临时表B+数存储,存储效率不如数据来的高。那从磁盘空间考虑,还是直接用数组来存”,这段怎么理解? 是指MySQL优化器,直接忽略B+数的磁盘临时表(这里忽略的依据是什么?),并且从文中后续的分析来看,也没有用内存临时表,而是直接sort buffer排序,老师再详细解释下? 对于InnoDB的磁盘临时表,索引结构是B+数;那对于内存临时表,是不是就是数组结构?数组临时表的主键就是每个数组元素?展开
作者回复: 1. 最后的结果是“直接使用排序” 2. 就是认为用sort_buffer直接排序性能更好,所以就没有使用内存临时表或磁盘临时表 3. 没有索引的内存表可以认为就是数组; 主键不是,内存表的表结构,可以看一下38篇
共 3 条评论26 - Geek_41d4722019-04-21老师您好,课课后小结 2.尽量让 group by 过程用上表的索引,确认方法是 explain 结果里没有 Using temporary 和 Using filesort; 这里我有个疑问,文章的例子中explain 结果里,既出现了using index ,又出现了Using temporary 和 Using filesort,好像也是使用了所以啊,如果用你这个方法判断,那到底有没有使用索引呢?展开
作者回复: 只要是有Using filesort就表示有排序; Using index是表示使用了覆盖索引; 三个都出现就是使用了覆盖索引,但是覆盖索引的顺序扫描不能满足需求,只能排序,而排序过程用到了临时表
15 - Li Shunduo2019-02-07请问Group By部分的第一个语句 explain select id%10 as m, count(*) as c from t1 group by m;为什么选择的是索引a,而不是primary key?如果字段a上有空值,使用索引a岂不是就不能取到所有的id值了?
作者回复: 因为索引c的信息也足够,而且比主键索引小,使用索引c更会好。 “如果字段a上有空值,使用索引a岂不是就不能取到所有的id值了?”,不会的
13 - Long2019-02-10老师,新年好! :-) 有几个版本差异的问题: (1)图1中的执行计划应该是5.7版本以后的吧,貌似没找到说在哪个环境,我在5.6和5.7分别测试了,id = 2的那个rows,在5.6版本(5.6.26)是1000,在5.7版本是2行。应该是5.7做的优化吧? (2)图 9 group + order by null 的结果(此盘临时表),这里面mysql5.6里面执行的结果是(1,10),(2,10)...(10,10),执行计划都是只有一样,没找到差异。 跟踪下了下optimizer trace,发现问题应该是在临时表空间满的的时候,mysql5.7用的是:converting_tmp_table_to_ondisk "location": "disk (InnoDB)",,而mysql 5.6用的是converting_tmp_table_to_myisam "location": "disk (MyISAM)"的原因导致的。 查了下参数: default_tmp_storage_engine。(5.6,5.7当前值都是innodb) internal_tmp_disk_storage_engine(只有5.7有这个参数,当前值是innodb),5.6应该是默认磁盘临时表就是MyISAM引擎的了,由于本地测试环境那个临时表的目录下找不到临时文件,也没法继续分析了。。。 至于为什么MySQL 5.6中结果展示m字段不是0-9而是1-10,还得请老师帮忙解答下了。 还有几个小问题,为了方便解答,序号统一了: (3)在阅读mysql执行计划的时候,看了网上有很多说法,也参考了mysql官网对id(select_id)的解释: id (JSON name: select_id) The SELECT identifier. This is the sequential number of the SELECT within the query.(感觉这个读起来也有点歧义,这个sequential字面解释感觉只有顺序的号码,并咩有说执行顺序) 比如图1,文中解释就是从ID小的往大的执行的,网上有很多其他说法,有的是说ID从大到小执行,遇到ID一样的,就从上往下执行。有的说是从小往大顺序执行。不知道老师是否可以官方讲解下。 (4)我发现想搞懂一个原理,并且讲清楚让别人明白,真的是很有难度,非常感谢老师的分享。这次专栏结束,还会推出的新的专栏吗? 非常期待。展开
作者回复: 1. 是的,我默认是用5.7做的验证,这里5.7做了优化。 2. 其实你已经找到原因了,就是因为5.6的默认临时表是myisam表,而myisam表是堆表,这里的堆表,跟38篇介绍的memory引擎是类似的,你看了那篇应该就能知道为什么堆表是最后显示0那行了 3. 好问题,不同id从大到小,相同id从上到下 4. 多谢你的鼓励,还没定,先休息下^_^ 不好意思,你发的第一天就看到了,回复晚了😆
10 - 兔斯基2019-02-11老师,关于排序有几个问题。 order by id,主键 order by null, 不加order by 这三种写法哪种执行效率更高一些?后面两者是不是等价的?
作者回复: 这三种写法语义上不一样。。 如果对返回结果没有顺序要求,那写上order by null肯定是好的。 “order by null”和“不加order by”不等价,咱们文中有说哈
8 - 梦康2019-02-11实践发现文中描述的 group by 执行过程中解释不通。案例如下 select `aid`,sum(`pv`) as num from article_rank force index(idx_day_aid_pv) where `day`>20190115 group by aid order by num desc LIMIT 10; 内存临时表不够,需要写入磁盘 select `aid`,sum(`pv`) as num from article_rank force index(idx_aid_day_pv) where `day`>20190115 group by aid order by num desc LIMIT 10; 内存临时表足够。 选的索引不一样,但是最后筛选出来的总行应该是一样的呀,所以现在更加困惑了。展开
作者回复: 看索引的名字猜测, idx_aid_day_pv 就是(adid, day,pv)这三个字段的联合索引? 这样的话,第二个语句就会顺序遍历索引,只要找到10个不同的aid就可以了,这个索引不用全部遍历;这样可以减少很多写入临时表的数据; 但是第一个语句是day开头的, 这样就必须将所有`day`>20190115的记录都存到临时表中,这个要写入内存表的数据行数肯定比第二个语句多的 所以核心就是这两个语句需要放入临时表的行数不同。
共 6 条评论7 - 否极泰来2020-04-19请教一个问题:mysql正常一条sql的基本执行顺序是:from > where > group by > select > order by select id%10 as m, count(*) as c from t1 group by m; 为什么这条SQL语句没有m字段能正常执行了?是因为select as 语句先于group by执行吗?? 感觉比较奇怪不是太理解展开共 1 条评论5
- Sinyo2019-03-01谢谢老师解惑, 再次请教老师,那其他引擎数据库在server层建的磁盘临时表是什么引擎呢?
作者回复: 需要创建临时表的时候,与当前访问数据的引擎无关,都是默认创建内存临时表,内存不够了转磁盘临时表(默认是innodb 表)
5 - 路过2019-03-28请教: 文章中的第一个案例语句,如果把limit 2去掉,即如下: (select 1000 as f) union (select id from t1 order by id desc); 按照我的理解,应该得到从1000到1的降序排列数据。但结果出乎意料: 1000 1 2 。。。 999 这是为何啊? 如果把上面的语句加上limit 1000,即: (select 1000 as f) union (select id from t1 order by id desc limit 1000); 结果就是从1000到1的降序排列。搞不懂,请老师解惑!展开共 2 条评论2
- 进阶的码农2019-03-07select id%10 as m, count(*) as c from t1 group by m; 我执行这条语句 第一行是1 没有经过排序,我explain 这条语句也没有显示sort 但是显示用了临时表,可能是什么原因的,和mysql版本有关吗?还是配置?共 3 条评论2
- 黄文韬2019-02-15老师,有两个问题不是很清楚: 1. 图三显示union all没有使用临时表,但是我本地explain看到union all和union的执行计划是一样的,不知道为什么?是和版本有关系还是其他设置?本地版本5.6 2.图四 不太理解为什么会用filesort,因为我看你后面执行流程是说会创建一个临时表,主键是m,那为啥不可以直接根据m来排序,而要用到filesort外部排序,还是这个filesort是指的不是按表中索引的排序都会是filesort?? 感谢展开
作者回复: 1. 啊 比较奇怪,你可否给一下截图,(比如发个微博,贴图at我),带上表结构哈 2. 好问题,其实这个是要结合下一篇文章的知识点,内存表的主键不是保证有序的
共 3 条评论2 - Smile2019-02-11当碰到第一个 2 的时候,已经知道累积了 Y 个 1,结果集里的第一行就是 (1,Y); ---- 应该是 结果集里的第 二 行 吧展开
作者回复: 对的,👍🏿细致 发起勘误了,新年快乐
2 - poppy2019-02-06老师,春节快乐,过年还在更新,辛苦辛苦。 关于思考题,我的理解是图8中的查询是使用了内存临时表,存储的顺序就是id%10的值的插入顺序,而图9中的查询,由于内存临时表大小无法满足,所以使用了磁盘临时表,对于InnoDB来说,就是对应B+树这种数据结构,这里会按照id%100(即m)的大小顺序来存储的,所以返回的结果当然也是有序的
作者回复: 新年好~ 👍
2 - W_波2021-11-05老师你好,请问一下使用union all的时候不会产生临时表吗?1
- null2019-08-09疑问: set tmp_table_size=1024; select id%100 as m, count(*) as c from t1 group by m order by null limit 10; 结果不需要排序,为什么不像第 17 章《如何正确显示随机消息》,采用优先队列排序算法。这里只需要维护一个 10 个元素的堆就可以了。 ---- 课后思考题: 使用磁盘临时表(engine=innodb),排首位的是 0,而内存临时表(engine=memory)却是 1。为何会有这种区别? 扫描计算的过程都是一样的,扫描 a 索引的时候,都是先扫描 1,再扫描 10。 m 字段是磁盘临时表和内存临时表的主键。 磁盘临时表是以 B+ 树存储数据,插入 m=0 时,会被动态调整到首位。而内存临时表是以数组保存数据,每次都是往数组末端添加元素,不会动态调整。因此产生了这个差异。展开1
- Sinyo2019-03-07老师好,好奇怪我用infobright列式存储引擎explain一条union语句,发现是不用临时表的,测试了很多次: 比如: EXPLAIN (SELECT 111) UNION (SELECT 222) ; EXPLAIN (SELECT 111) UNION (SELECT id from aaa) ; EXPLAIN (SELECT id from bbb) UNION (SELECT id from aaa) 以上都没有用到临时表; 这应该说明不同引擎的逻辑层还是存在差异的把。展开1