一张千万级别数据的表想做分页,如何优化?

数据库 MySQL
当进行分页时,MySQL 并不是跳过 offset 行,而是取 offset+N 行,然后放弃前 offset 行,返回 N 行。例如 limit 10000, 20。

 [[336448]]

介绍

当进行分页时,MySQL 并不是跳过 offset 行,而是取 offset+N 行,然后放弃前 offset 行,返回 N 行。例如 limit 10000, 20。mysql排序取出10020条数据后,仅返回20条数据,查询和排序的代价都很高。那当 offset 特别大的时候,效率就非常的低下,所以我们要对sql进行改写

使用书签

用书签记录上次取数据的位置,过滤掉部分数据

如下面语句

  1. SELECT id, name, description FROM film ORDER BY name LIMIT 1000, 10; 

可以改为

  1. SELECT id, name, description FROM film WHERE name > 'begin' ORDER BY name LIMIT 10; 

name为上次分页后的最大值,注意这种场景只适用于不存在重复值的场景。

延迟关联

延迟关联:通过使用覆盖索引查询返回需要的主键,再根据主键关联原表获得需要的数据

  1. SELECT id, name, description FROM film ORDER BY name LIMIT 100,5; 

id是主键值,name上面有索引。这样每次查询的时候,会先从name索引列上找到id值,然后回表,查询到所有的数据。可以看到有很多回表其实是没有必要的。完全可以先从name索引上找到id(注意只查询id是不会回表的,因为非聚集索引上包含的值为索引列值和主键值,相当于从索引上能拿到所有的列值,就没必要再回表了),然后再关联一次表,获取所有的数据

因此可以改为

  1. SELECT film.id, name, description FROM film  
  2. JOIN (SELECT id from film ORDER BY name LIMIT 100,5) temp 
  3. ON film.id = temp.id 

倒序查询

假如查询倒数最后一页,offset可能回非常大

  1. SELECT id, name, description FROM film ORDER BY name LIMIT 100000, 10; 

改成倒序分页,效率是不是快多了?

  1. SELECT id, name, description FROM film ORDER BY name DESC LIMIT 10; 

本文转载自微信公众号「Java识堂」,可以通过以下二维码关注。转载本文请联系Java识堂公众号。 

 

责任编辑:武晓燕 来源: Java识堂
相关推荐

2012-04-25 09:24:17

Java

2022-09-01 08:42:36

SQL数据项目

2023-06-29 08:22:43

数据Excel模板

2024-02-05 13:28:00

Excel优化服务器

2024-10-28 10:50:33

2022-11-17 12:09:51

2020-09-01 17:19:36

数据监控建模

2021-02-02 21:50:31

MySQL 8.0ExcelMySQL 5.7

2023-12-07 07:46:21

MySQL写入点LSN

2020-11-18 07:51:15

MySQL数据查询

2015-10-28 10:17:22

Html5前端优化

2020-06-15 08:54:46

架构图 EA业务建模

2021-11-22 10:38:23

架构运维技术

2021-02-07 09:01:10

Java并发编程

2019-09-11 10:12:12

华为

2021-02-09 17:21:55

SQL数据库存储

2021-09-29 11:30:01

大数据技术架构

2013-12-16 10:59:52

WiFi上锁WiFi被盗

2015-05-08 11:23:41

谷歌IO大会

2013-09-10 10:20:12

数据大数据大数据应用
点赞
收藏

51CTO技术栈公众号