MySQL全文索引、联合索引、like查询、json查询速度大比拼

查询背景

有一个表tmp_test_course大概有10万条记录,然后有个json字段叫outline,存了一对多关系(保存了多个编码,例如jy1577683381775)

我们需要在这10万条数据中检索特定类型的数据,目标总数据量:2931条

SELECT COUNT(*) FROM tmp_test_course WHERE `type`=5 AND del=2 AND is_leaf=1

我们在限定为上面类型的同时,还得包含下面任意一个编码(也就是OR查询)

jy1577683381775jy1577683380808jy1577683379178jy1577683378676jy1577683377617jy1577683376672jy1577683375903jy1578385720787jy1499916986208jy1499917112460jy1499917093400jy1499917335579jy1499917334770jy1499917333339jy1499917331557jy1499917330833jy1499917329615jy1499917328496jy1576922006950jy1499916993558jy1499916992308jy1499917003454jy1499917002952

下面分别列出4种方式查询outline字段,给出相应的查询时间和扫描行数

一、like查询

耗时248毫秒

SELECT * FROM tmp_test_course WHERE `type`=5 AND del=2 AND is_leaf=1 AND (outline like '%jy1577683381775%'OR outline like '%jy1577683380808%'OR outline like '%jy1577683379178%'OR outline like '%jy1577683378676%'OR outline like '%jy1577683377617%'OR outline like '%jy1577683376672%'OR outline like '%jy1577683375903%'OR outline like '%jy1578385720787%'OR outline like '%jy1499916986208%'OR outline like '%jy1499917112460%'OR outline like '%jy1499917093400%'OR outline like '%jy1499917335579%'OR outline like '%jy1499917334770%'OR outline like '%jy1499917333339%'OR outline like '%jy1499917331557%'OR outline like '%jy1499917330833%'OR outline like '%jy1499917329615%'OR outline like '%jy1499917328496%'OR outline like '%jy1576922006950%'OR outline like '%jy1499916993558%'OR outline like '%jy1499916992308%'OR outline like '%jy1499917003454%'OR outline like '%jy1499917002952%')

EXPLAIN分析结果如下,全表扫描

二、json函数查询

使用函数JSON_SEARCH,更多函数请查看MySQL官方文档

可以看到,查询耗时196毫秒,速度稍微快了一点

SELECT * FROM tmp_test_course WHERE `type`=5 AND del=2 AND is_leaf=1AND (JSON_SEARCH(outline, 'one', 'jy1577683381775') IS NOT NULL ORJSON_SEARCH(outline, 'one', 'jy1577683380808') IS NOT NULL ORJSON_SEARCH(outline, 'one', 'jy1577683379178') IS NOT NULL ORJSON_SEARCH(outline, 'one', 'jy1577683378676') IS NOT NULL ORJSON_SEARCH(outline, 'one', 'jy1577683377617') IS NOT NULL ORJSON_SEARCH(outline, 'one', 'jy1577683376672') IS NOT NULL ORJSON_SEARCH(outline, 'one', 'jy1577683375903') IS NOT NULL ORJSON_SEARCH(outline, 'one', 'jy1578385720787') IS NOT NULL ORJSON_SEARCH(outline, 'one', 'jy1499916986208') IS NOT NULL ORJSON_SEARCH(outline, 'one', 'jy1499917112460') IS NOT NULL ORJSON_SEARCH(outline, 'one', 'jy1499917093400') IS NOT NULL ORJSON_SEARCH(outline, 'one', 'jy1499917335579') IS NOT NULL ORJSON_SEARCH(outline, 'one', 'jy1499917334770') IS NOT NULL ORJSON_SEARCH(outline, 'one', 'jy1499917333339') IS NOT NULL ORJSON_SEARCH(outline, 'one', 'jy1499917331557') IS NOT NULL ORJSON_SEARCH(outline, 'one', 'jy1499917330833') IS NOT NULL ORJSON_SEARCH(outline, 'one', 'jy1499917329615') IS NOT NULL ORJSON_SEARCH(outline, 'one', 'jy1499917328496') IS NOT NULL ORJSON_SEARCH(outline, 'one', 'jy1576922006950') IS NOT NULL ORJSON_SEARCH(outline, 'one', 'jy1499916993558') IS NOT NULL ORJSON_SEARCH(outline, 'one', 'jy1499916992308') IS NOT NULL ORJSON_SEARCH(outline, 'one', 'jy1499917003454') IS NOT NULL ORJSON_SEARCH(outline, 'one', 'jy1499917002952') IS NOT NULL   )

EXPLAIN分析结果如下,还是全表扫描

三、联合索引查询

下面为该表建立一个联合索引(本来想建一个type-del-is_leaf-outline的索引,但是outline字段太长限制,所以只加type-del-is_leaf的联合索引

ALTER TABLE tmp_test_course ADD KEY `type-del-is_leaf` (`type`,`del`,`is_leaf`)

加入索引后再执行like和json查询,明显提速。like执行用了136毫秒,json查询用了82.6毫秒,由此可见针对json类型使用json函数查询比like快

EXPLAIN分析结果如下,两者查询扫描的行数都限定在了2931行

四、全文索引查询

因为全文索引只支持CHAR、VARCHAR和TEXT,我们需要把JSON字段定义改一下

ALTER TABLE tmp_test_course MODIFY `outline` VARCHAR(1024) NOT NULL DEFAULT '[]'

添加全文索引

ALTER TABLE tmp_test_course ADD FULLTEXT INDEX outline (outline);

现在再来用全文索引进行检索

SELECT * FROM tmp_test_course WHERE `type`=5 AND del=2 AND is_leaf=1AND MATCH(outline) AGAINST ('jy1577683381775 jy1577683380808 jy1577683379178 jy1577683378676 jy1577683377617 jy1577683376672 jy1577683375903 jy1578385720787 jy1499916986208 jy1499917112460 jy1499917093400 jy1499917335579 jy1499917334770 jy1499917333339 jy1499917331557 jy1499917330833 jy1499917329615 jy1499917328496 jy1576922006950 jy1499916993558 jy1499916992308 jy1499917003454 jy1499917002952')

耗时11.6毫秒,速度提升极其明显,可见全文索引的牛逼。

EXPLAIN分析结果如下,显示只扫描了一行

结论

以下是4种情况的执行结果

全文索引: 11.6ms联合索引:82.6ms(json)、136ms(like)json函数查询:196mslike查询: 248ms

结论:全文索引 > 联合索引 > json函数查询 > like查询数据量越大,全文索引速度越明显,就10万的量,查询速度大概比直接查询快了20倍左右,如果是百万或千万级别的表,提升差距会更加大,所以有条件还是老老实实用全文索引吧

来源:
https://www.cnblogs.com/chenqionghe/p/12367268.html

(0)

相关推荐

  • 搜索引擎springboot集成(elasticSearch)

    各位小伙伴们,今天是今年的最后一天,这是我今年的最后一篇博客,在这里祝大家新年快乐!本次讲的是近几年比较流行的search搜索引擎,本文写的比较粗略,希望大家看了会有所收获,如若写错,请在评论区指出, ...

  • 怎么将多行多列的数据变成一列?4个解法。

    - 问题 -怎么将这个多行多列的数据变成一列? - 1 - 不需保持原排序选中所有列逆透视,一步搞定 - 2 - 保持原排序:操作法一思路直接,为保排序,操作麻烦2.1 添加索引列 2.2 替换nul ...

  • MySQL 8.0中的JSON增强

    现在很多应用环境中都能看到JSON灵活的影子.各阶段数据层次的递归层次,能很好的分辨.一直对MySQL的JSON很期待的,最近才有时间研究一下. JSON了解 JSON就是一串字符串,只不过元素会使用 ...

  • python接口自动化39-JMESPath解析json数据

    前言 前面学了 jsonpath 可以很好的解析 json 数据,提取出我们想要的内容,对于平常的基本工作没太大的问题,但有一点点小遗憾. jsonpath 的 python 库功能并不是很强大,不支 ...

  • MySQL(三):多表查询和存储程序

    今天内容: ● 多表查询(内连接   外连接   子查询) ● 存储程序(存储过程   函数) 多表查询 同时从多张数据表中查取到需要的数据即是多表查询. 多表查询时,参与查询的表中每条数据进行组合, ...

  • 2021年,新网站排名频繁波动,丢索引,品牌词查询不到,常见4个因素!

    2021年,如果你在操作一个新网站,经常会遇到一些意想不到的事情,比如: ①网站首页收录有排名,而索引过几天又丢失. ②特定关键词有排名,又没排名. ③品牌关键词查询不到搜索结果. ④site命令出现 ...

  • MySQL单列索引和联合索引的效率对比

    背景 实验环境 表结构 初始化数据 实验过程 多对多 多对一 一对一 总结 背景 大家在工作中应该遇到过这样的一个问题:在一个表中有两个字段经常用作查询条件,为了提升查询效率我们经常在对应的列上面创建 ...

  • MySQL复杂查询:连接查询+取某个类型的最大值

    本文链接:https://www.cnblogs.com/alanabc/p/10167926.html 需求 假设有一个考试,比如CET(包括CET-4和CET-6),学生可以多次报考刷分.现在某教 ...

  • 索引为什么能提高查询性能....

    重磅干货,第一时间送达 来源:小林coding 前言 昨天,有个女孩子问我提高数据库查询性能有什么立竿见影的好方法? 这简直是一道送分题,我自豪且略带鄙夷的说,当然是加「索引」了. 她又不紧不慢的问, ...

  • MySQL基础篇(01):经典实用查询案例,总结整理

    本文源码:GitHub·点这里 || GitEE·点这里 一.连接查询 图解示意图 1.建表语句 部门和员工关系表: CREATE TABLE `tb_dept` ( `id` int(11) NOT ...

  • MySQL必知必会--使用子查询

    子查询 版本要求 MySQL 4.1引入了对子查询的支持,所以要想使用 本章描述的SQL,必须使用MySQL 4.1或更高级的版本. SELECT语句 是SQL的查询.迄今为止我们所看到的所有 SEL ...

  • 编程语言Mysql系列(十四)datetime查询异常

    异常:Value '0000-00-00 00:00:00' can not be represented as java.sql.Timestamp (2011-05-25 11:38:40) 描述 ...

  • 五行查询生辰八字查询

    五行查询生辰八字查询 再我们古代思想家就用五行理论来说明世界万物的形成及其相互关系.中医用五行来解释生理病理上的种种现象.预测未来的人用五行相生相克来推算人的命运. 五行:金木水火土 五行四方:东方属 ...