一 、介紹

為何要有索引?

一般的應用系統(tǒng)，讀寫比例在10:1左右，而且插入操作和一般的更新操作很少出現(xiàn)性能問題，在生產(chǎn)環(huán)境中，我們遇到最多的，也是最容易出問題的，還是一些復雜的查詢操作，因此對查詢語句的優(yōu)化顯然是重中之重。說起加速查詢，就不得不提到索引了。

什么是索引？

索引在MySQL中也叫做“鍵”，是存儲引擎用于快速找到記錄的一種數(shù)據(jù)結(jié)構(gòu)。索引對于良好的性能

非常關(guān)鍵，尤其是當表中的數(shù)據(jù)量越來越大時，索引對于性能的影響愈發(fā)重要。

索引優(yōu)化應該是對查詢性能優(yōu)化最有效的手段了。索引能夠輕易將查詢性能提高好幾個數(shù)量級。

索引相當于字典的音序表，如果要查某個字，如果不使用音序表，則需要從幾百頁中逐頁去查。

 30

 10 40

 5 15 35 66

1 6 11 19 21 39 55 100

你是否對索引存在誤解？

索引是應用程序設計和開發(fā)的一個重要方面。若索引太多，應用程序的性能可能會受到影響。而索引太少，對查詢性能又會產(chǎn)生影響，要找到一個平衡點，這對應用程序的性能至關(guān)重要。一些開發(fā)人員總是在事后才想起添加索引----我一直認為，這源于一種錯誤的開發(fā)模式。如果知道數(shù)據(jù)的使用，從一開始就應該在需要處添加索引。開發(fā)人員往往對數(shù)據(jù)庫的使用停留在應用的層面，比如編寫SQL語句、存儲過程之類，他們甚至可能不知道索引的存在，或認為事后讓相關(guān)DBA加上即可。DBA往往不夠了解業(yè)務的數(shù)據(jù)流，而添加索引需要通過監(jiān)控大量的SQL語句進而從中找到問題，這個步驟所需的時間肯定是遠大于初始添加索引所需的時間，并且可能會遺漏一部分的索引。當然索引也并不是越多越好，我曾經(jīng)遇到過這樣一個問題：某臺MySQL服務器iostat顯示磁盤使用率一直處于100%，經(jīng)過分析后發(fā)現(xiàn)是由于開發(fā)人員添加了太多的索引，在刪除一些不必要的索引之后，磁盤使用率馬上下降為20%?？梢娝饕奶砑右彩欠浅Ｓ屑夹g(shù)含量的。

二 、索引的原理

一 、索引原理

索引的目的在于提高查詢效率，與我們查閱圖書所用的目錄是一個道理：先定位到章，然后定位到該章下的一個小節(jié)，然后找到頁數(shù)。相似的例子還有：查字典，查火車車次，飛機航班等

本質(zhì)都是：通過不斷地縮小想要獲取數(shù)據(jù)的范圍來篩選出最終想要的結(jié)果，同時把隨機的事件變成順序的事件，也就是說，有了這種索引機制，我們可以總是用同一種查找方式來鎖定數(shù)據(jù)。

數(shù)據(jù)庫也是一樣，但顯然要復雜的多，因為不僅面臨著等值查詢，還有范圍查詢(>、、between、in)、模糊查詢(like)、并集查詢(or)等等。數(shù)據(jù)庫應該選擇怎么樣的方式來應對所有的問題呢？我們回想字典的例子，能不能把數(shù)據(jù)分成段，然后分段查詢呢？最簡單的如果1000條數(shù)據(jù)，1到100分成第一段，101到200分成第二段，201到300分成第三段......這樣查第250條數(shù)據(jù)，只要找第三段就可以了，一下子去除了90%的無效數(shù)據(jù)。但如果是1千萬的記錄呢，分成幾段比較好？稍有算法基礎的同學會想到搜索樹，其平均復雜度是lgN，具有不錯的查詢性能。但這里我們忽略了一個關(guān)鍵的問題，復雜度模型是基于每次相同的操作成本來考慮的。而數(shù)據(jù)庫實現(xiàn)比較復雜，一方面數(shù)據(jù)是保存在磁盤上的，另外一方面為了提高性能，每次又可以把部分數(shù)據(jù)讀入內(nèi)存來計算，因為我們知道訪問磁盤的成本大概是訪問內(nèi)存的十萬倍左右，所以簡單的搜索樹難以滿足復雜的應用場景。

二 、磁盤IO與預讀

前面提到了訪問磁盤，那么這里先簡單介紹一下磁盤IO和預讀，磁盤讀取數(shù)據(jù)靠的是機械運動，每次讀取數(shù)據(jù)花費的時間可以分為尋道時間、旋轉(zhuǎn)延遲、傳輸時間三個部分，尋道時間指的是磁臂移動到指定磁道所需要的時間，主流磁盤一般在5ms以下；旋轉(zhuǎn)延遲就是我們經(jīng)常聽說的磁盤轉(zhuǎn)速，比如一個磁盤7200轉(zhuǎn)，表示每分鐘能轉(zhuǎn)7200次，也就是說1秒鐘能轉(zhuǎn)120次，旋轉(zhuǎn)延遲就是1/120/2 = 4.17ms；傳輸時間指的是從磁盤讀出或?qū)?shù)據(jù)寫入磁盤的時間，一般在零點幾毫秒，相對于前兩個時間可以忽略不計。那么訪問一次磁盤的時間，即一次磁盤IO的時間約等于5+4.17 = 9ms左右，聽起來還挺不錯的，但要知道一臺500 -MIPS（Million Instructions Per Second）的機器每秒可以執(zhí)行5億條指令，因為指令依靠的是電的性質(zhì)，換句話說執(zhí)行一次IO的時間可以執(zhí)行約450萬條指令，數(shù)據(jù)庫動輒十萬百萬乃至千萬級數(shù)據(jù)，每次9毫秒的時間，顯然是個災難。下圖是計算機硬件延遲的對比圖，供大家參考：

考慮到磁盤IO是非常高昂的操作，計算機操作系統(tǒng)做了一些優(yōu)化，當一次IO時，不光把當前磁盤地址的數(shù)據(jù)，而是把相鄰的數(shù)據(jù)也都讀取到內(nèi)存緩沖區(qū)內(nèi)，因為局部預讀性原理告訴我們，當計算機訪問一個地址的數(shù)據(jù)的時候，與其相鄰的數(shù)據(jù)也會很快被訪問到。每一次IO讀取的數(shù)據(jù)我們稱之為一頁(page)。具體一頁有多大數(shù)據(jù)跟操作系統(tǒng)有關(guān)，一般為4k或8k，也就是我們讀取一頁內(nèi)的數(shù)據(jù)時候，實際上才發(fā)生了一次IO，這個理論對于索引的數(shù)據(jù)結(jié)構(gòu)設計非常有幫助。

三 、索引的數(shù)據(jù)結(jié)構(gòu)

前面講了索引的基本原理，數(shù)據(jù)庫的復雜性，又講了操作系統(tǒng)的相關(guān)知識，目的就是讓大家了解，任何一種數(shù)據(jù)結(jié)構(gòu)都不是憑空產(chǎn)生的，一定會有它的背景和使用場景，我們現(xiàn)在總結(jié)一下，我們需要這種數(shù)據(jù)結(jié)構(gòu)能夠做些什么，其實很簡單，那就是：每次查找數(shù)據(jù)時把磁盤IO次數(shù)控制在一個很小的數(shù)量級，最好是常數(shù)數(shù)量級。那么我們就想到如果一個高度可控的多路搜索樹是否能滿足需求呢？就這樣，b+樹應運而生（B+樹是通過二叉查找樹，再由平衡二叉樹，B樹演化而來）。

如上圖，是一顆b+樹，關(guān)于b+樹的定義可以參見B+樹，這里只說一些重點，淺藍色的塊我們稱之為一個磁盤塊，可以看到每個磁盤塊包含幾個數(shù)據(jù)項（深藍色所示）和指針（黃色所示），如磁盤塊1包含數(shù)據(jù)項17和35，包含指針P1、P2、P3，P1表示小于17的磁盤塊，P2表示在17和35之間的磁盤塊，P3表示大于35的磁盤塊。真實的數(shù)據(jù)存在于葉子節(jié)點即3、5、9、10、13、15、28、29、36、60、75、79、90、99。非葉子節(jié)點只不存儲真實的數(shù)據(jù)，只存儲指引搜索方向的數(shù)據(jù)項，如17、35并不真實存在于數(shù)據(jù)表中。

###b+樹的查找過程

如圖所示，如果要查找數(shù)據(jù)項29，那么首先會把磁盤塊1由磁盤加載到內(nèi)存，此時發(fā)生一次IO，在內(nèi)存中用二分查找確定29在17和35之間，鎖定磁盤塊1的P2指針，內(nèi)存時間因為非常短（相比磁盤的IO）可以忽略不計，通過磁盤塊1的P2指針的磁盤地址把磁盤塊3由磁盤加載到內(nèi)存，發(fā)生第二次IO，29在26和30之間，鎖定磁盤塊3的P2指針，通過指針加載磁盤塊8到內(nèi)存，發(fā)生第三次IO，同時內(nèi)存中做二分查找找到29，結(jié)束查詢，總計三次IO。真實的情況是，3層的b+樹可以表示上百萬的數(shù)據(jù)，如果上百萬的數(shù)據(jù)查找只需要三次IO，性能提高將是巨大的，如果沒有索引，每個數(shù)據(jù)項都要發(fā)生一次IO，那么總共需要百萬次的IO，顯然成本非常非常高。

###b+樹性質(zhì)

1.索引字段要盡量的?。和ㄟ^上面的分析，我們知道IO次數(shù)取決于b+數(shù)的高度h，假設當前數(shù)據(jù)表的數(shù)據(jù)為N，每個磁盤塊的數(shù)據(jù)項的數(shù)量是m，則有h=㏒(m+1)N，當數(shù)據(jù)量N一定的情況下，m越大，h越小；而m = 磁盤塊的大小 / 數(shù)據(jù)項的大小，磁盤塊的大小也就是一個數(shù)據(jù)頁的大小，是固定的，如果數(shù)據(jù)項占的空間越小，數(shù)據(jù)項的數(shù)量越多，樹的高度越低。這就是為什么每個數(shù)據(jù)項，即索引字段要盡量的小，比如int占4字節(jié)，要比bigint8字節(jié)少一半。這也是為什么b+樹要求把真實的數(shù)據(jù)放到葉子節(jié)點而不是內(nèi)層節(jié)點，一旦放到內(nèi)層節(jié)點，磁盤塊的數(shù)據(jù)項會大幅度下降，導致樹增高。當數(shù)據(jù)項等于1時將會退化成線性表。

2.索引的最左匹配特性：當b+樹的數(shù)據(jù)項是復合的數(shù)據(jù)結(jié)構(gòu)，比如(name,age,sex)的時候，b+數(shù)是按照從左到右的順序來建立搜索樹的，比如當(張三,20,F)這樣的數(shù)據(jù)來檢索的時候，b+樹會優(yōu)先比較name來確定下一步的所搜方向，如果name相同再依次比較age和sex，最后得到檢索的數(shù)據(jù)；但當(20,F)這樣的沒有name的數(shù)據(jù)來的時候，b+樹就不知道下一步該查哪個節(jié)點，因為建立搜索樹的時候name就是第一個比較因子，必須要先根據(jù)name來搜索才能知道下一步去哪里查詢。比如當(張三,F)這樣的數(shù)據(jù)來檢索時，b+樹可以用name來指定搜索方向，但下一個字段age的缺失，所以只能把名字等于張三的數(shù)據(jù)都找到，然后再匹配性別是F的數(shù)據(jù)了， 這個是非常重要的性質(zhì)，即索引的最左匹配特性。

四 、聚集索引與輔助索引

在數(shù)據(jù)庫中，B+樹的高度一般都在2~4層，這也就是說查找某一個鍵值的行記錄時最多只需要2到4次IO，這倒不錯。因為當前一般的機械硬盤每秒至少可以做100次IO，2~4次的IO意味著查詢時間只需要0.02~0.04秒。

數(shù)據(jù)庫中的B+樹索引可以分為聚集索引（clustered index）和輔助索引（secondary index），

聚集索引與輔助索引相同的是：不管是聚集索引還是輔助索引，其內(nèi)部都是B+樹的形式，即高度是平衡的，葉子結(jié)點存放著所有的數(shù)據(jù)。

聚集索引與輔助索引不同的是：葉子結(jié)點存放的是否是一整行的信息

1、聚集索引

#InnoDB存儲引擎表示索引組織表，即表中數(shù)據(jù)按照主鍵順序存放。而聚集索引（clustered index）就是按照每張表的主鍵構(gòu)造一棵B+樹，同時葉子結(jié)點存放的即為整張表的行記錄數(shù)據(jù)，也將聚集索引的葉子結(jié)點稱為數(shù)據(jù)頁。聚集索引的這個特性決定了索引組織表中數(shù)據(jù)也是索引的一部分。

同B+樹數(shù)據(jù)結(jié)構(gòu)一樣，每個數(shù)據(jù)頁都通過一個雙向鏈表來進行鏈接。 #如果未定義主鍵，MySQL取第一個唯一索引（unique）而且只含非空列（NOT NULL）作為主鍵，InnoDB使用它作為聚簇索引。 #如果沒有這樣的列，InnoDB就自己產(chǎn)生一個這樣的ID值，它有六個字節(jié)，而且是隱藏的，使其作為聚簇索引。#由于實際的數(shù)據(jù)頁只能按照一棵B+樹進行排序，因此每張表只能擁有一個聚集索引。在多少情況下，查詢優(yōu)化器傾向于采用聚集索引。

因為聚集索引能夠在B+樹索引的葉子節(jié)點上直接找到數(shù)據(jù)。此外由于定義了數(shù)據(jù)的邏輯順序，聚集索引能夠特別快地訪問針對范圍值得查詢。

聚集索引的好處之一：它對主鍵的排序查找和范圍查找速度非常快，葉子節(jié)點的數(shù)據(jù)就是用戶所要查詢的數(shù)據(jù)。如用戶需要查找一張表，查詢最后的10位用戶信息，由于B+樹索引是雙向鏈表，所以用戶可以快速找到最后一個數(shù)據(jù)頁，并取出10條記錄

聚集索引的好處之二：范圍查詢（range query），即如果要查找主鍵某一范圍內(nèi)的數(shù)據(jù)，通過葉子節(jié)點的上層中間節(jié)點就可以得到頁的范圍，之后直接讀取數(shù)據(jù)頁即可

2、輔助索引

表中除了聚集索引外其他索引都是輔助索引（Secondary Index，也稱為非聚集索引），與聚集索引的區(qū)別是：輔助索引的葉子節(jié)點不包含行記錄的全部數(shù)據(jù)。

葉子節(jié)點除了包含鍵值以外，每個葉子節(jié)點中的索引行中還包含一個書簽（bookmark）。該書簽用來告訴InnoDB存儲引擎去哪里可以找到與索引相對應的行數(shù)據(jù)。

由于InnoDB存儲引擎是索引組織表，因此InnoDB存儲引擎的輔助索引的書簽就是相應行數(shù)據(jù)的聚集索引鍵。如下圖

輔助索引的存在并不影響數(shù)據(jù)在聚集索引中的組織，因此每張表上可以有多個輔助索引，但只能有一個聚集索引。當通過輔助索引來尋找數(shù)據(jù)時，InnoDB存儲引擎會遍歷輔助索引并通過葉子級別的指針獲得只想主鍵索引的主鍵，然后再通過主鍵索引來找到一個完整的行記錄。

舉例來說，如果在一棵高度為3的輔助索引樹種查找數(shù)據(jù)，那需要對這個輔助索引樹遍歷3次找到指定主鍵，如果聚集索引樹的高度同樣為3，那么還需要對聚集索引樹進行3次查找，最終找到一個完整的行數(shù)據(jù)所在的頁，因此一共需要6次邏輯IO訪問才能得到最終的一個數(shù)據(jù)頁。

五 、MySQL索引管理

一 、功能

1. 索引的功能就是加速查找

2. mysql中的primary key，unique，聯(lián)合唯一也都是索引，這些索引除了加速查找以外，還有約束的功能

二 、MySQL常用的索引

普通索引INDEX：加速查找

唯一索引： -主鍵索引PRIMARY KEY：加速查找+約束（不為空、不能重復） -唯一索引UNIQUE:加速查找+約束（不能重復）

聯(lián)合索引： -PRIMARY KEY(id,name):聯(lián)合主鍵索引 -UNIQUE(id,name):聯(lián)合唯一索引 -INDEX(id,name):聯(lián)合普通索引

三 、索引的兩大類型hash與btree

#我們可以在創(chuàng)建上述索引的時候，為其指定索引類型，分兩類
hash類型的索引：查詢單條快，范圍查詢慢
btree類型的索引：b+樹，層數(shù)越多，數(shù)據(jù)量指數(shù)級增長（我們就用它，因為innodb默認支持它）

#不同的存儲引擎支持的索引類型也不一樣
InnoDB 支持事務，支持行級別鎖定，支持 B-tree、Full-text 等索引，不支持 Hash 索引；
MyISAM 不支持事務，支持表級別鎖定，支持 B-tree、Full-text 等索引，不支持 Hash 索引；
Memory 不支持事務，支持表級別鎖定，支持 B-tree、Hash 等索引，不支持 Full-text 索引；
NDB 支持事務，支持行級別鎖定，支持 Hash 索引，不支持 B-tree、Full-text 等索引；
Archive 不支持事務，支持表級別鎖定，不支持 B-tree、Hash、Full-text 等索引；

四 、創(chuàng)建/刪除索引的語法

#方法一：創(chuàng)建表時
 　　CREATE TABLE 表名 (
 字段名1 數(shù)據(jù)類型 [完整性約束條件…],
 字段名2 數(shù)據(jù)類型 [完整性約束條件…],
 [UNIQUE | FULLTEXT | SPATIAL ] INDEX | KEY
 [索引名] (字段名[(長度)] [ASC |DESC]) 
 );


#方法二：CREATE在已存在的表上創(chuàng)建索引
 CREATE [UNIQUE | FULLTEXT | SPATIAL ] INDEX 索引名 
 ON 表名 (字段名[(長度)] [ASC |DESC]) ;


#方法三：ALTER TABLE在已存在的表上創(chuàng)建索引
 ALTER TABLE 表名 ADD [UNIQUE | FULLTEXT | SPATIAL ] INDEX
 索引名 (字段名[(長度)] [ASC |DESC]) ;
 
#刪除索引：DROP INDEX 索引名 ON 表名字;

#方式一
create table t1(
 id int,
 name char,
 age int,
 sex enum('male','female'),
 unique key uni_id(id),
 index ix_name(name) #index沒有key
);


#方式二
create index ix_age on t1(age);

#方式三
alter table t1 add index ix_sex(sex);

#查看
mysql> show create table t1;
| t1 | CREATE TABLE `t1` (
 `id` int(11) DEFAULT NULL,
 `name` char(1) DEFAULT NULL,
 `age` int(11) DEFAULT NULL,
 `sex` enum('male','female') DEFAULT NULL,
 UNIQUE KEY `uni_id` (`id`),
 KEY `ix_name` (`name`),
 KEY `ix_age` (`age`),
 KEY `ix_sex` (`sex`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1

六 、測試索引

一 、準備

#1. 準備表
create table s1(
id int,
name varchar(20),
gender char(6),
email varchar(50)
);

#2. 創(chuàng)建存儲過程，實現(xiàn)批量插入記錄
delimiter $$ #聲明存儲過程的結(jié)束符號為$$
create procedure auto_insert1()
BEGIN
 declare i int default 1;
 while(i3000000)do
 insert into s1 values(i,'duoduo','male',concat('duoduo',i,'@oldboy'));
 set i=i+1;
 end while;
END$$ #$$結(jié)束
delimiter ; #重新聲明分號為結(jié)束符號

#3. 查看存儲過程
show create procedure auto_insert1\G 

#4. 調(diào)用存儲過程
call auto_insert1();

#等到時間長短，看機器性能

提示：創(chuàng)建表的時間長短，看機器的性能，請耐心等待！

二 、在沒有索引的前提下測試查詢速度

#無索引：mysql根本就不知道到底是否存在id等于333333333的記錄，只能把數(shù)據(jù)表從頭到尾掃描一遍，此時有多少個磁盤塊就需要進行多少IO操作，所以查詢速度很慢
mysql> select * from s1 where id=333333333;
Empty set (0.33 sec)

三 、在表中已經(jīng)存在大量數(shù)據(jù)的前提下，為某個字段段建立索引，建立速度會很慢

四 、在索引建立完畢后，以該字段為查詢條件時，查詢速度提升明顯

PS：

1. mysql先去索引表里根據(jù)b+樹的搜索原理很快搜索到id等于333333333的記錄不存在，IO大大降低，因而速度明顯提升

2. 我們可以去mysql的data目錄下找到該表，可以看到占用的硬盤空間多了

3. 需要注意，如下圖

五 、總結(jié)

#1. 一定是為搜索條件的字段創(chuàng)建索引，比如select * from s1 where id = 333;就需要為id加上索引

#2. 在表中已經(jīng)有大量數(shù)據(jù)的情況下，建索引會很慢，且占用硬盤空間，建完后查詢速度加快
比如create index idx on s1(id);會掃描表中所有的數(shù)據(jù)，然后以id為數(shù)據(jù)項，創(chuàng)建索引結(jié)構(gòu)，存放于硬盤的表中。
建完以后，再查詢就會很快了。

#3. 需要注意的是：innodb表的索引會存放于s1.ibd文件中，而myisam表的索引則會有單獨的索引文件table1.MYI

MySAM索引文件和數(shù)據(jù)文件是分離的，索引文件僅保存數(shù)據(jù)記錄的地址。
而在innodb中，表數(shù)據(jù)文件本身就是按照B+Tree（BTree即Balance True）組織的一個索引結(jié)構(gòu)，這棵樹的葉節(jié)點data域保存了完整的數(shù)據(jù)記錄。
這個索引的key是數(shù)據(jù)表的主鍵，因此innodb表數(shù)據(jù)文件本身就是主索引。
因為inndob的數(shù)據(jù)文件要按照主鍵聚集，所以innodb要求表必須要有主鍵（Myisam可以沒有），
如果沒有顯式定義，則mysql系統(tǒng)會自動選擇一個可以唯一標識數(shù)據(jù)記錄的列作為主鍵，
如果不存在這種列，則mysql會自動為innodb表生成一個隱含字段作為主鍵，這字段的長度為6個字節(jié)，類型為長整型.

七 、正確使用索引

一 、索引未命中

并不是說我們創(chuàng)建了索引就一定會加快查詢速度，若想利用索引達到預想的提高查詢速度的效果，我們在添加索引時，必須遵循以下問題

1 、范圍問題，或者說條件不明確，條件中出現(xiàn)這些符號或關(guān)鍵字：>、>=、、=、!= 、between...and...、like、

大于號、小于號

不等于！=

between ...and...

like

2盡量選擇區(qū)分度高的列作為索引,區(qū)分度的公式是count(distinct col)/count(*)，表示字段不重復的比例，比例越大我們掃描的記錄數(shù)越少，唯一鍵的區(qū)分度是1，而一些狀態(tài)、性別字段可能在大數(shù)據(jù)面前區(qū)分度就是0，那可能有人會問，這個比例有什么經(jīng)驗值嗎？使用場景不同，這個值也很難確定，一般需要join的字段我們都要求是0.1以上，即平均1條掃描10條記錄

#先把表中的索引都刪除，讓我們專心研究區(qū)分度的問題
mysql> desc s1;
+--------+-------------+------+-----+---------+-------+
| Field | Type | Null | Key | Default | Extra |
+--------+-------------+------+-----+---------+-------+
| id | int(11) | YES | MUL | NULL | |
| name | varchar(20) | YES | | NULL | |
| gender | char(5) | YES | | NULL | |
| email | varchar(50) | YES | MUL | NULL | |
+--------+-------------+------+-----+---------+-------+
rows in set (0.00 sec)

mysql> drop index a on s1;
Query OK, 0 rows affected (0.20 sec)
Records: 0 Duplicates: 0 Warnings: 0

mysql> drop index d on s1;
Query OK, 0 rows affected (0.18 sec)
Records: 0 Duplicates: 0 Warnings: 0

mysql> desc s1;
+--------+-------------+------+-----+---------+-------+
| Field | Type | Null | Key | Default | Extra |
+--------+-------------+------+-----+---------+-------+
| id | int(11) | YES | | NULL | |
| name | varchar(20) | YES | | NULL | |
| gender | char(5) | YES | | NULL | |
| email | varchar(50) | YES | | NULL | |
+--------+-------------+------+-----+---------+-------+
rows in set (0.00 sec)

先把表中的索引都刪除，讓我們專心研究區(qū)分度的問題

我們編寫存儲過程為表s1批量添加記錄，name字段的值均為duoduo，也就是說name這個字段的區(qū)分度很低（gender字段也是一樣的，我們稍后再搭理它）

回憶b+樹的結(jié)構(gòu)，查詢的速度與樹的高度成反比，要想將樹的高低控制的很低，需要保證：在某一層內(nèi)數(shù)據(jù)項均是按照從左到右，從小到大的順序依次排開，即左1左2左3...

而對于區(qū)分度低的字段，無法找到大小關(guān)系，因為值都是相等的，毫無疑問，還想要用b+樹存放這些等值的數(shù)據(jù)，只能增加樹的高度，字段的區(qū)分度越低，則樹的高度越高。極端的情況，索引字段的值都一樣，那么b+樹幾乎成了一根棍。本例中就是這種極端的情況，name字段所有的值均為'duoduo'

#現(xiàn)在我們得出一個結(jié)論：為區(qū)分度低的字段建立索引，索引樹的高度會很高，然而這具體會帶來什么影響呢？？？

#1：如果條件是name='xxxx',那么肯定是可以第一時間判斷出'xxxx'是不在索引樹中的（因為樹中所有的值均為'duoduo'），所以查詢速度很快

#2：如果條件正好是name='duoduo',查詢時，我們永遠無法從樹的某個位置得到一個明確的范圍，只能往下找，往下找，往下找。。。這與全表掃描的IO次數(shù)沒有多大區(qū)別，所以速度很慢

分析

3、 =和in可以亂序，比如a = 1 and b = 2 and c = 3 建立(a,b,c)索引可以任意順序，mysql的查詢優(yōu)化器會幫你優(yōu)化成索引可以識別的形式

4、 索引列不能參與計算，保持列“干凈”，比如from_unixtime(create_time) = '2014-05-29'就不能使用到索引，原因很簡單，b+樹中存的都是數(shù)據(jù)表中的字段值，但進行檢索時，需要把所有元素都應用函數(shù)才能比較，顯然成本太大。所以語句應該寫成create_time = unix_timestamp('2014-05-29')

5、 and/or

#1、and與or的邏輯
條件1 and 條件2:所有條件都成立才算成立，但凡要有一個條件不成立則最終結(jié)果不成立
條件1 or 條件2:只要有一個條件成立則最終結(jié)果就成立

#2、and的工作原理
條件：
a = 10 and b = 'xxx' and c > 3 and d =4
索引：
制作聯(lián)合索引(d,a,b,c)
工作原理:
對于連續(xù)多個and：mysql會按照聯(lián)合索引，從左到右的順序找一個區(qū)分度高的索引字段(這樣便可以快速鎖定很小的范圍)，加速查詢，即按照d—>a->b->c的順序

#3、or的工作原理
條件：
a = 10 or b = 'xxx' or c > 3 or d =4
索引：
制作聯(lián)合索引(d,a,b,c)

工作原理:
對于連續(xù)多個or：mysql會按照條件的順序，從左到右依次判斷，即a->b->c->d

在左邊條件成立但是索引字段的區(qū)分度低的情況下（name，加速查詢）

6最左前綴匹配原則，非常重要的原則，對于組合索引mysql會一直向右匹配直到遇到范圍查詢(>、、between、like)就停止匹配(指的是范圍大了，有索引速度也慢)，比如a = 1 and b = 2 and c > 3 and d = 4 如果建立(a,b,c,d)順序的索引，d是用不到索引的，如果建立(a,b,d,c)的索引則都可以用到，a,b,d的順序可以任意調(diào)整。

7、 其他情況

- 使用函數(shù)
 select * from tb1 where reverse(email) = 'duoduo';
 
- 類型不一致
 如果列是字符串類型，傳入條件是必須用引號引起來，不然...
 select * from tb1 where email = 999;
 
#排序條件為索引，則select字段必須也是索引字段，否則無法命中
- order by
 select name from s1 order by email desc;
 當根據(jù)索引排序時候，select查詢的字段如果不是索引，則速度仍然很慢
 select email from s1 order by email desc;
 特別的：如果對主鍵排序，則還是速度很快：
 select * from tb1 order by nid desc;
 
- 組合索引最左前綴
 如果組合索引為：(name,email)
 name and email -- 命中索引
 name -- 命中索引
 email -- 未命中索引


- count(1)或count(列)代替count(*)在mysql中沒有差別了

- create index xxxx on tb(title(19)) #text類型，必須制定長度

其他注意事項

- 避免使用select *
- count(1)或count(列) 代替 count(*)
- 創(chuàng)建表時盡量時 char 代替 varchar
- 表的字段順序固定長度的字段優(yōu)先
- 組合索引代替多個單列索引（經(jīng)常使用多個條件查詢時）
- 盡量使用短索引
- 使用連接（JOIN）來代替子查詢(Sub-Queries)
- 連表時注意條件類型需一致
- 索引散列值（重復少）不適合建索引，例：性別不適合

八、 聯(lián)合索引與覆蓋索引

一 、聯(lián)合索引

聯(lián)合索引時指對表上的多個列合起來做一個索引。聯(lián)合索引的創(chuàng)建方法與單個索引的創(chuàng)建方法一樣，不同之處在僅在于有多個索引列，如下

mysql> create table t(
 -> a int,
 -> b int,
 -> primary key(a),
 -> key idx_a_b(a,b)
 -> );
Query OK, 0 rows affected (0.11 sec)

那么何時需要使用聯(lián)合索引呢？在討論這個問題之前，先來看一下聯(lián)合索引內(nèi)部的結(jié)果。從本質(zhì)上來說，聯(lián)合索引就是一棵B+樹，不同的是聯(lián)合索引的鍵值得數(shù)量不是1，而是>=2。接著來討論兩個整型列組成的聯(lián)合索引，假定兩個鍵值得名稱分別為a、b如圖

可以看到這與我們之前看到的單個鍵的B+樹并沒有什么不同，鍵值都是排序的，通過葉子結(jié)點可以邏輯上順序地讀出所有數(shù)據(jù)，就上面的例子來說，即（1,1），（1,2），（2,1），（2,4），（3,1），（3,2），數(shù)據(jù)按（a,b）的順序進行了存放。

因此，對于查詢select * from table where a=xxx and b=xxx, 顯然是可以使用(a,b) 這個聯(lián)合索引的，對于單個列a的查詢select * from table where a=xxx,也是可以使用（a,b）這個索引的。

但對于b列的查詢select * from table where b=xxx,則不可以使用（a,b） 索引，其實你不難發(fā)現(xiàn)原因，葉子節(jié)點上b的值為1、2、1、4、1、2顯然不是排序的，因此對于b列的查詢使用不到(a,b) 索引

聯(lián)合索引的第二個好處是在第一個鍵相同的情況下，已經(jīng)對第二個鍵進行了排序處理，例如在很多情況下應用程序都需要查詢某個用戶的購物情況，并按照時間進行排序，最后取出最近三次的購買記錄，這時使用聯(lián)合索引可以幫我們避免多一次的排序操作，因為索引本身在葉子節(jié)點已經(jīng)排序了，如下

#===========準備表==============
create table buy_log(
 userid int unsigned not null,
 buy_date date
);

insert into buy_log values
(1,'2009-01-01'),
(2,'2009-01-01'),
(3,'2009-01-01'),
(1,'2009-02-01'),
(3,'2009-02-01'),
(1,'2009-03-01'),
(1,'2009-04-01');

alter table buy_log add key(userid);
alter table buy_log add key(userid,buy_date);

#===========驗證==============
mysql> show create table buy_log;
| buy_log | CREATE TABLE `buy_log` (
 `userid` int(10) unsigned NOT NULL,
 `buy_date` date DEFAULT NULL,
 KEY `userid` (`userid`),
 KEY `userid_2` (`userid`,`buy_date`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 |

#可以看到possible_keys在這里有兩個索引可以用，分別是單個索引userid與聯(lián)合索引userid_2,但是優(yōu)化器最終選擇了使用的key是userid因為該索引的葉子節(jié)點包含單個鍵值，所以理論上一個頁能存放的記錄應該更多
mysql> explain select * from buy_log where userid=2;
+----+-------------+---------+------+-----------------+--------+---------+-------+------+-------+
| id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra |
+----+-------------+---------+------+-----------------+--------+---------+-------+------+-------+
| 1 | SIMPLE | buy_log | ref | userid,userid_2 | userid | 4 | const | 1 | |
+----+-------------+---------+------+-----------------+--------+---------+-------+------+-------+
row in set (0.00 sec)

#接著假定要取出userid為1的最近3次的購買記錄，用的就是聯(lián)合索引userid_2了，因為在這個索引中，在userid=1的情況下，buy_date都已經(jīng)排序好了
mysql> explain select * from buy_log where userid=1 order by buy_date desc limit 3;
+----+-------------+---------+------+-----------------+----------+---------+-------+------+--------------------------+
| id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra |
+----+-------------+---------+------+-----------------+----------+---------+-------+------+--------------------------+
| 1 | SIMPLE | buy_log | ref | userid,userid_2 | userid_2 | 4 | const | 4 | Using where; Using index |
+----+-------------+---------+------+-----------------+----------+---------+-------+------+--------------------------+
row in set (0.00 sec)

#ps：如果extra的排序顯示是Using filesort，則意味著在查出數(shù)據(jù)后需要二次排序


#對于聯(lián)合索引（a,b）,下述語句可以直接使用該索引，無需二次排序
select ... from table where a=xxx order by b;

#然后對于聯(lián)合索引(a,b,c)來首，下列語句同樣可以直接通過索引得到結(jié)果
select ... from table where a=xxx order by b;
select ... from table where a=xxx and b=xxx order by c;

#但是對于聯(lián)合索引(a,b,c)，下列語句不能通過索引直接得到結(jié)果，還需要自己執(zhí)行一次filesort操作，因為索引（a，c)并未排序
select ... from table where a=xxx order by c;

二、 覆蓋索引

InnoDB存儲引擎支持覆蓋索引（covering index，或稱索引覆蓋），即從輔助索引中就可以得到查詢記錄，而不需要查詢聚集索引中的記錄。

使用覆蓋索引的一個好處是：輔助索引不包含整行記錄的所有信息，故其大小要遠小于聚集索引，因此可以減少大量的IO操作

注意：覆蓋索引技術(shù)最早是在InnoDB Plugin中完成并實現(xiàn)，這意味著對于InnoDB版本小于1.0的，或者MySQL數(shù)據(jù)庫版本為5.0以下的，InnoDB存儲引擎不支持覆蓋索引特性

對于InnoDB存儲引擎的輔助索引而言，由于其包含了主鍵信息，因此其葉子節(jié)點存放的數(shù)據(jù)為（primary key1，priamey key2，...,key1，key2，...）。例如

select age from s1 where id=123 and name = 'duoduo'; #id字段有索引，但是name字段沒有索引,該sql命中了索引，但未覆蓋，需要去聚集索引中再查找詳細信息。
最牛逼的情況是，索引字段覆蓋了所有，那全程通過索引來加速查詢以及獲取結(jié)果就ok了
mysql> desc s1;
+--------+-------------+------+-----+---------+-------+
| Field | Type | Null | Key | Default | Extra |
+--------+-------------+------+-----+---------+-------+
| id | int(11) | NO | | NULL | |
| name | varchar(20) | YES | | NULL | |
| gender | char(6) | YES | | NULL | |
| email | varchar(50) | YES | | NULL | |
+--------+-------------+------+-----+---------+-------+
rows in set (0.21 sec)

mysql> explain select name from s1 where id=1000; #沒有任何索引
+----+-------------+-------+------------+------+---------------+------+---------+------+---------+----------+-------------+
| id | select_type | table | partitions | type | possible_keys | key | key_len | ref | rows | filtered | Extra |
+----+-------------+-------+------------+------+---------------+------+---------+------+---------+----------+-------------+
| 1 | SIMPLE | s1 | NULL | ALL | NULL | NULL | NULL | NULL | 2688336 | 10.00 | Using where |
+----+-------------+-------+------------+------+---------------+------+---------+------+---------+----------+-------------+
row in set, 1 warning (0.00 sec)

mysql> create index idx_id on s1(id); #創(chuàng)建索引
Query OK, 0 rows affected (4.16 sec)
Records: 0 Duplicates: 0 Warnings: 0

mysql> explain select name from s1 where id=1000; #命中輔助索引，但是未覆蓋索引，還需要從聚集索引中查找name
+----+-------------+-------+------------+------+---------------+--------+---------+-------+------+----------+-------+
| id | select_type | table | partitions | type | possible_keys | key | key_len | ref | rows | filtered | Extra |
+----+-------------+-------+------------+------+---------------+--------+---------+-------+------+----------+-------+
| 1 | SIMPLE | s1 | NULL | ref | idx_id | idx_id | 4 | const | 1 | 100.00 | NULL |
+----+-------------+-------+------------+------+---------------+--------+---------+-------+------+----------+-------+
row in set, 1 warning (0.08 sec)

mysql> explain select id from s1 where id=1000; #在輔助索引中就找到了全部信息，Using index代表覆蓋索引
+----+-------------+-------+------------+------+---------------+--------+---------+-------+------+----------+-------------+
| id | select_type | table | partitions | type | possible_keys | key | key_len | ref | rows | filtered | Extra |
+----+-------------+-------+------------+------+---------------+--------+---------+-------+------+----------+-------------+
| 1 | SIMPLE | s1 | NULL | ref | idx_id | idx_id | 4 | const | 1 | 100.00 | Using index |
+----+-------------+-------+------------+------+---------------+--------+---------+-------+------+----------+-------------+
row in set, 1 warning (0.03 sec)

覆蓋索引的另外一個好處是對某些統(tǒng)計問題而言的?；谏弦恍〗Y(jié)創(chuàng)建的表buy_log,查詢計劃如下

mysql> explain select count(*) from buy_log;
+----+-------------+---------+-------+---------------+--------+---------+------+------+-------------+
| id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra |
+----+-------------+---------+-------+---------------+--------+---------+------+------+-------------+
| 1 | SIMPLE | buy_log | index | NULL | userid | 4 | NULL | 7 | Using index |
+----+-------------+---------+-------+---------------+--------+---------+------+------+-------------+
row in set (0.00 sec)

innodb存儲引擎并不會選擇通過查詢聚集索引來進行統(tǒng)計。由于buy_log表有輔助索引，而輔助索引遠小于聚集索引，選擇輔助索引可以減少IO操作，故優(yōu)化器的選擇如上key為userid輔助索引

對于（a,b）形式的聯(lián)合索引，一般是不可以選擇b中所謂的查詢條件。但如果是統(tǒng)計操作，并且是覆蓋索引，則優(yōu)化器還是會選擇使用該索引，如下

#聯(lián)合索引userid_2（userid,buy_date）,一般情況，我們按照buy_date是無法使用該索引的，但特殊情況下：查詢語句是統(tǒng)計操作，且是覆蓋索引，則按照buy_date當做查詢條件時，也可以使用該聯(lián)合索引
mysql> explain select count(*) from buy_log where buy_date >= '2011-01-01' and buy_date  '2011-02-01';
+----+-------------+---------+-------+---------------+----------+---------+------+------+--------------------------+
| id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra |
+----+-------------+---------+-------+---------------+----------+---------+------+------+--------------------------+
| 1 | SIMPLE | buy_log | index | NULL | userid_2 | 8 | NULL | 7 | Using where; Using index |
+----+-------------+---------+-------+---------------+----------+---------+------+------+--------------------------+
row in set (0.00 sec)

九、查詢優(yōu)化神器-explain

關(guān)于explain命令相信大家并不陌生，具體用法和字段含義可以參考官網(wǎng)explain-output，這里需要強調(diào)rows是核心指標，絕大部分rows小的語句執(zhí)行一定很快（有例外，下面會講到）。所以優(yōu)化語句基本上都是在優(yōu)化rows。

執(zhí)行計劃：讓mysql預估執(zhí)行操作(一般正確)
all index range index_merge ref_or_null ref eq_ref system/const
id,email

慢：
select * from userinfo3 where name='alex'

explain select * from userinfo3 where name='alex'
type: ALL(全表掃描)
select * from userinfo3 limit 1;
快：
select * from userinfo3 where email='alex'
type: const(走索引)

參考文中：https://www.jb51.net/article/140759.htm

十 、慢查詢優(yōu)化的基本步驟

0.先運行看看是否真的很慢，注意設置SQL_NO_CACHE
1.where條件單表查，鎖定最小返回記錄表。這句話的意思是把查詢語句的where都應用到表中返回的記錄數(shù)最小的表開始查起，單表每個字段分別查詢，看哪個字段的區(qū)分度最高
2.explain查看執(zhí)行計劃，是否與1預期一致（從鎖定記錄較少的表開始查詢）
3.order by limit 形式的sql語句讓排序的表優(yōu)先查
4.了解業(yè)務方使用場景
5.加索引時參照建索引的幾大原則
6.觀察結(jié)果，不符合預期繼續(xù)從0分析

十一、 慢日志管理

慢日志
            - 執(zhí)行時間 > 10
            - 未命中索引
            - 日志文件路徑
           
        配置：
            - 內(nèi)存
                show variables like '%query%';
                show variables like '%queries%';
                set global 變量名 = 值
            - 配置文件
                mysqld --defaults-file='E:\wupeiqi\mysql-5.7.16-winx64\mysql-5.7.16-winx64\my-default.ini'
               
                my.conf內(nèi)容：
                    slow_query_log = ON
                    slow_query_log_file = D:/....
                   
                注意：修改配置文件之后，需要重啟服務

MySQL日志管理

========================================================

錯誤日志: 記錄 MySQL 服務器啟動、關(guān)閉及運行錯誤等信息
二進制日志: 又稱binlog日志，以二進制文件的方式記錄數(shù)據(jù)庫中除 SELECT 以外的操作
查詢?nèi)罩? 記錄查詢的信息
慢查詢?nèi)罩? 記錄執(zhí)行時間超過指定時間的操作
中繼日志： 備庫將主庫的二進制日志復制到自己的中繼日志中，從而在本地進行重放
通用日志： 審計哪個賬號、在哪個時段、做了哪些事件
事務日志或稱redo日志： 記錄Innodb事務相關(guān)的如事務執(zhí)行時間、檢查點等
========================================================

一、bin-log

1. 啟用

# vim /etc/my.cnf
[mysqld]
log-bin[=dir\[filename]]
# service mysqld restart

2. 暫停

//僅當前會話
SET SQL_LOG_BIN=0;
SET SQL_LOG_BIN=1;

3. 查看

查看全部：

# mysqlbinlog mysql.000002
按時間：
# mysqlbinlog mysql.000002 --start-datetime="2012-12-05 10:02:56"
# mysqlbinlog mysql.000002 --stop-datetime="2012-12-05 11:02:54"
# mysqlbinlog mysql.000002 --start-datetime="2012-12-05 10:02:56" --stop-datetime="2012-12-05 11:02:54" 

按字節(jié)數(shù)：

# mysqlbinlog mysql.000002 --start-position=260
# mysqlbinlog mysql.000002 --stop-position=260
# mysqlbinlog mysql.000002 --start-position=260 --stop-position=930

4. 截斷bin-log（產(chǎn)生新的bin-log文件）

a. 重啟mysql服務器

b. # mysql -uroot -p123 -e 'flush logs'

5. 刪除bin-log文件

# mysql -uroot -p123 -e 'reset master' 

二、查詢?nèi)罩?/strong>

# vim /etc/my.cnf
[mysqld]
log[=dir\[filename]]
# service mysqld restart

# vim /etc/my.cnf
[mysqld]
log-slow-queries[=dir\[filename]]
long_query_time=n
# service mysqld restart

slow-query-log=1
slow-query-log-file=slow.log
long_query_time=3

BENCHMARK(count,expr)
SELECT BENCHMARK(50000000,2*3);