场景:
需求是做一张数据报表,YB平台封装了报表的表样设计,数据源是通过视图,查询到所需的信息,然后在低代码平台配置显示样式等。
问题:
- 数据太多,需要关联很多库的很多表
- 报表经常会涉及到计算或者分组,但通常这两种函数都会导致索引失效
- 报表覆盖范围比较广,需要在 WHERE 条件里使用 in 或者or,也会导致索引失效
解决:
说来废话,上面说到的问题能不用就不用,但很多依然没法避免,第一次的视图写出来后,查询速度达到了35s
???
是没办法交差的
接下来开始优化SQL:
- 使用 EXPLAIN 命令查看哪些字段没有使用索引
- 在表关联字段上添加索引;
- 在where语句条件里添加组合索引,按照从左到右的顺序【这点很重要】;
- 去除不必要的索引【比如使用索引后依然查询出大量的数据,这种反而不如不加】;
执行 EXPLAIN 命令,发现有几个字段始终不走索引,很奇怪,于是联系度娘处理,原来由于数据库版本的不同,所使用的编码集是不同的,MySQL5.5.3 之前 是使用 utf8 格式,之后才是utf8mb4
查看数据库版本:
查看字符集
就是它了!导致索引失效的原因
参考链接
升级utf8到utf8mb4
1、备份
安全第一,备份所有需要升级字符编码的数据库
● 可以将库dump出来。
● 如果是虚拟机,可以给整个主机做快照。
2、升级数据库
utf8mb4是MySQL5.5.3版本之后支持的字符集,so,如果你需要使用这个字符集,前提条件是你的MySQL版本必须 >= 5.5.3
3、修改编码集
在MySQL中,可以为一个database设置字符编码,可以为一张表设置字符编码,也以为某一个字段设置字符编码。
● 查看当前系统默认的字符集设置
SHOW VARIABLES WHERE Variable_name LIKE 'character_set_%' OR Variable_name LIKE 'collation%';
● 查看database的字符编码
show create database polarsnow;
● 查看table的字符编码
show create table ps;
● 查看column的字符编码
show full columns from ps;
修改database默认的字符集
ALTER DATABASE database_name CHARACTER SET = utf8mb4 COLLATE = utf8mb4_unicode_ci
虽然修改了database的字符集为utf8mb4,但是实际只是修改了database新创建的表,默认使用utf8mb4,原来已经存在的表,字符集并没有跟着改变,需要手动为每张表设置字符集。
修改table的字符集
● 只修改表默认的字符集
ALTER TABLE table_name DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
● 修改表默认的字符集和所有字符列的字符集
ALTER TABLE table_name CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
单独修改column默认的字符集
ALTER TABLE table_name CHANGE column_name column_name VARCHAR(191) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
注:VARCHAR(191) 根据字段实例的类型填写
4、检查字段的最大长度和索引列
● 字段长度
由于从utf8升级到了utf8mb4,一个字符所占用的空间也由3个字节增长到4个字节,但是我们当初创建表时,设置的字段类型以及最大的长度没有改变。例如,你在utf8下设置某一字段的类型为TINYTEXT, 这中字段类型最大可以容纳255字节,三个字节一个字符的情况下可以容纳85个字符,四个字节一个字符的情况下只能容纳63个字符,如果原表中的这个字段的值有一个或多个超过了63个字符,那么转换成utf8mb4字符编码时将转换失败,你必须先将TINYTEXT更改为TEXT等更高容量的类型之后才能继续转换字符编码
● 索引
在InnoDB引擎中,最大的索引长度为767字节,三个字节一个字符的情况下,索引列的字符长度最大可以达到255,四个字节一个字符的情况下,索引的字符长度最大只能到191。如果你已经存在的表中的索引列的类型为VARCHAR(255)那么转换utf8mb4时同样会转换失败。你需要先将VARCHAR(255)更改为VARCHAR(191)才能继续转换字符编码
5、修改配置文件
SET NAMES utf8 COLLATE utf8_unicode_ci becomes SET NAMES utf8mb4 COLLATE utf8mb4_unicode_ci
vim /etc/my.cnf
对本地的mysql客户端的配置
[client]
default-character-set = utf8mb4
对其他远程连接的mysql客户端的配置
[mysql]
default-character-set = utf8mb4
本地mysql服务的配置
[mysqld]
character-set-client-handshake = FALSE
character-set-server = utf8mb4
collation-server = utf8mb4_unicode_ci
service mysqld restart
检查修改
mysql> SHOW VARIABLES WHERE Variable_name LIKE 'character_set_%' OR Variable_name LIKE 'collation%';
+--------------------------+--------------------+
| Variable_name | Value |
+--------------------------+--------------------+
| character_set_client | utf8mb4 |
| character_set_connection | utf8mb4 |
| character_set_database | utf8mb4 |
| character_set_filesystem | binary |
| character_set_results | utf8mb4 |
| character_set_server | utf8mb4 |
| character_set_system | utf8 |
| collation_connection | utf8mb4_unicode_ci |
| collation_database | utf8mb4_unicode_ci |
| collation_server | utf8mb4_unicode_ci |
+--------------------------+--------------------+
10 rows in set (0.00 sec)
注:character_set_system 一直都会是 utf8,不能被更改
- 修复&优化所有数据表
mysqlcheck -u root -p --auto-repair --optimize --all-databases