Mysql性能優化:如何給字元串加索引?

来源:https://www.cnblogs.com/Chenjiabing/archive/2020/04/02/12620427.html
-Advertisement-
Play Games

導讀 現代大部分的登錄系統都支持郵箱、手機號碼登錄兩種方式,那麼如何在郵箱或者手機號碼這個字元串上建立索引才能保證性能最佳呢? 今天這篇文章就來探討一下在Mysql中如何給一個字元串加索引才能達到性能最佳。 本文首發於作者的微信公眾號【碼猿技術專欄】,原創不易,喜歡的朋友支持一下,謝謝!!! 陳某將 ...


導讀

  • 現代大部分的登錄系統都支持郵箱、手機號碼登錄兩種方式,那麼如何在郵箱或者手機號碼這個字元串上建立索引才能保證性能最佳呢?

  • 今天這篇文章就來探討一下在Mysql中如何給一個字元串加索引才能達到性能最佳。

  • 本文首發於作者的微信公眾號【碼猿技術專欄】,原創不易,喜歡的朋友支持一下,謝謝!!!
  • 陳某將會從什麼是首碼索引首碼索引和普通索引的比較如何建麗最佳性能的首碼索引首碼索引對覆蓋索引的影響這幾段來講。

 

首碼索引

  • 顧名思義,對於列值較長,比如BLOBTEXTVARCHAR,就 "必須" 使用首碼索引,即將值的前一部分作為索引。因為索引的存儲也是需要空間的,同樣索引太長維護起來也比較困難。

  • 比如我們給User表中的郵箱添加首碼索引,如下:

   alter table user add index index1(email(7));
  • 上述語句將email的前7個字元作為索引。

 

首碼索引和普通索引比較

  • 我們分別將email的全部作為索引和前7個字元作為索引來看看在性能上有什麼差異。建立索引的語句如下:

  alter table user add index index1(email);

  alter table user add index index2(email(7));
  • 假設有user表中有這樣幾條數據(id,name,email):(1,"陳某","chenmou1993@xxx")(2,"張某","chenmou1994@xxx")(3,"李某","chenmou1995@xxx")(4,"王某","chenmou1996@xxx")

  • 對應於index1和index2的索引樹如下兩張圖:

 

  • 如果執行下麵的查詢語句,Mysql如何利用索引來查詢呢?

  select * from user where email="chenmou1995@xxx";

 

【1】普通索引的執行過程

  1. 從index1索引樹找到滿足索引值是chenmou1995@xxx的這條記錄,取得id=2的值;

  2. 到主鍵上查到主鍵值是id=2的行,判斷email的值是正確的,將這行記錄加入結果集;

  3. index1索引樹上剛剛查到的位置的下一條記錄,發現已經不滿足email=chenmou1995@xxx的條件了,迴圈結束。

這個過程中,只需要回主鍵索引取一次數據,所以系統認為只掃描了一行

 

【2】首碼索引的執行過程

  1. 從index2索引樹找到滿足索引值是chenmou的記錄,找到的第一個是id=1;

  2. 到主鍵上查到主鍵值是id=1的行,判斷出email的值不是chenmou1995@xxx,這行記錄丟棄;

  3. 取index2上剛剛查到的位置的下一條記錄,發現仍然是chenmou,取出id=2,再到ID索引上取整行然後判斷,這次值對了,將這行記錄加入結果集;

  4. 重覆上一步,直到在idxe2上取到的值不是chenmou時,迴圈結束。

  在這個過程中,要回主鍵索引取4次數據,也就是掃描了4行。

 

  • 通過以上查詢的對比,很容易就可以發現,使用首碼索引後,可能會導致查詢語句讀數據的次數變多。

  • 但是對於這個查詢語句來說,如果建立的首碼索引的長度為13呢?那麼滿足chenmou1995的記錄只有一個,這樣就可以直接定位到id=2,此時不但空間縮小了,掃描的行數也減少了。

  • 於是結論就來了:使用首碼索引,只要定義好長度,就可以做到既節省空間,又不用額外增加太多的查詢成本。

  • 那麼如何建立正確的首碼索引才能達到最佳的性能呢?接著往下看................

 

如何建立最佳性能的首碼索引

  • 通過上述的比較,可以得出一個結論,建立首碼索引的區分度越高越好,意味著重覆的鍵值越少

  • 那麼如何統計區分度,其實很簡單,只需要判斷資料庫中重覆的次數即可。sql如下:

  select 
   count(distinct left(email,4))as L4,
   count(distinct left(email,5))as L5,
   count(distinct left(email,6))as L6,
   count(distinct left(email,7))as L7,
  from user;
  • 但是如果對於使用首碼區分度不太好的情況,比如,我們國家的身份證號,一共18位,其中前6位是地址碼,所以同一個縣的人的身份證號前6位一般會是相同的。 這時候如果對身份證號做長度為6的首碼索引的話,這個索引的區分度就非常低了。

  • 按照我們前面說的方法,可能你需要創建長度為12以上的首碼索引,才能夠滿足區分度要求。

  • 但是,索引選取的越長,占用的磁碟空間就越大,相同的數據頁能放下的索引值就越少,搜索的效率也就會越低。

  • 那麼,如果我們能夠確定業務需求裡面只有按照身份證進行等值查詢的需求,還有沒有別的處理方法呢?這種方法,既可以占用更小的空間,也能達到相同的查詢效率。現在簡單的介紹一種解決此種問題的方式,當然方法肯定不止一種,如下:

 

  倒序存儲

  如果你存儲身份證號的時候把它倒過來存,每次查詢的時候,你可以這麼寫:

   select field_list from t where id_card = reverse('輸入的身份證號');

  由於身份證號的最後6位沒有地址碼這樣的重覆邏輯,所以最後這6位很可能就提供了足夠的區分度。當然了,實踐中你不要忘記使用count(distinct)方法去做個驗證。

 

首碼索引對覆蓋索引的影響

  • 首碼索引會導致覆蓋索引失效,查詢語句如下:

  select id,name from user where email="chenmou1995@xxx";
  • 由於使用了首碼索引,因此必須會回表驗證查詢到的時候正確,此處使用了覆蓋索引也是無效的。

  • 也就是說,使用首碼索引就用不上覆蓋索引對查詢性能的優化了,這也是你在選擇是否使用首碼索引時需要考慮的一個因素。

 

總結

  • 如何給字元串加索引是一個需要考量的問題,陳某在這裡給出如下的建議:

  1. 如果字元串長度很短,建議直接用全部作為索引。

  2. 使用首碼索引註意分析區分度,區分度越高越好。

  3. 使用首碼索引需要考慮覆蓋索引失效的問題。

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 簡介 Windows 10 上內置了 Hyper V。Hyper V 提供硬體虛擬化,每個虛擬機都在虛擬硬體上運行。 系統要求 Windows 10 企業版、專業版或教育版。家庭版、移動版、移動企業版無法使用。 具有二級地址轉換 (SLAT) 的 64 位處理器。 CPU 支持 VM 監視器模式擴展 ...
  • 前提:先在centos7中安裝好了VMware Tools 安裝gcc: yum -y install gcc 安裝kernel-devel: yum -y install kernel-devel 設置好共用目錄: 點擊添加之後選擇共用目錄 在centos7終端命令中輸入 vmware-hgfsc ...
  • 最近的項目要求配置共用存儲的四節點集群,使集群能夠形成負載均衡。 但是大家知道,PostgreSQL不支持使用同一數據目錄生成多個實例,在執行pg_ctl start的時候,如果指定的數據目錄有實例在運行,則該實例會發生錯誤導致資料庫down掉。故而,我們選擇了基於pgpool-II + repmg ...
  • SQL Server中鎖機制保證併發情況下的數據訪問,開發過程中利用好索引減少數據,能減少數據掃描數據加鎖的過程,合理規範使用事務,能減少死鎖發生 ...
  • 1、鎖監控 查看鎖住的表: select request_session_id spid,OBJECT_NAME(resource_associated_entity_id) tableName from sys.dm_tran_locks where resource_type='OBJECT' ...
  • 參考資料:C語言中文網 存儲引擎: 資料庫存儲引擎是資料庫底層軟體組件,資料庫管理系統使用數據引擎進行創建、查詢、更新和刪除數據操作。 不同的存儲引擎提供不同的存儲機制、索引技巧、鎖定水平等功能,使用不同的存儲引擎還可以獲得特定的功能。 註:InnoDB 事務型資料庫的首選引擎,支持事務安全表(AC ...
  • 大體來說,MySQL 可以分為 Server 層和存儲引擎層兩部分。 select * from T where ID=10; 這條查詢語句的執行過程: 外部層: 用戶與server層交互的媒介 一.客戶端【用於連接資料庫,輸入命令/語句】 界面化連接資料庫 輸入 select * from T w ...
  • 什麼是事務 事務的概念 從業務層面上來說,事務就是一個最小的不可分割的單元,通常一個事務對應的是一個完整的業務(比如銀行的轉賬操作)。 為什麼要有事務 仍以銀行轉賬為例加以說明,比如我要從賬號A轉賬100元到賬號B,現在資料庫有一張表account,那麼就意味著需要同時執行兩條SQL語句的更新: 以 ...
一周排行
    -Advertisement-
    Play Games
  • 前言 在我們開發過程中基本上不可或缺的用到一些敏感機密數據,比如SQL伺服器的連接串或者是OAuth2的Secret等,這些敏感數據在代碼中是不太安全的,我們不應該在源代碼中存儲密碼和其他的敏感數據,一種推薦的方式是通過Asp.Net Core的機密管理器。 機密管理器 在 ASP.NET Core ...
  • 新改進提供的Taurus Rpc 功能,可以簡化微服務間的調用,同時可以不用再手動輸出模塊名稱,或調用路徑,包括負載均衡,這一切,由框架實現並提供了。新的Taurus Rpc 功能,將使得服務間的調用,更加輕鬆、簡約、高效。 ...
  • 順序棧的介面程式 目錄順序棧的介面程式頭文件創建順序棧入棧出棧利用棧將10進位轉16進位數驗證 頭文件 #include <stdio.h> #include <stdbool.h> #include <stdlib.h> 創建順序棧 // 指的是順序棧中的元素的數據類型,用戶可以根據需要進行修改 ...
  • 前言 整理這個官方翻譯的系列,原因是網上大部分的 tomcat 版本比較舊,此版本為 v11 最新的版本。 開源項目 從零手寫實現 tomcat minicat 別稱【嗅虎】心有猛虎,輕嗅薔薇。 系列文章 web server apache tomcat11-01-官方文檔入門介紹 web serv ...
  • C總結與剖析:關鍵字篇 -- <<C語言深度解剖>> 目錄C總結與剖析:關鍵字篇 -- <<C語言深度解剖>>程式的本質:二進位文件變數1.變數:記憶體上的某個位置開闢的空間2.變數的初始化3.為什麼要有變數4.局部變數與全局變數5.變數的大小由類型決定6.任何一個變數,記憶體賦值都是從低地址開始往高地 ...
  • 如果讓你來做一個有狀態流式應用的故障恢復,你會如何來做呢? 單機和多機會遇到什麼不同的問題? Flink Checkpoint 是做什麼用的?原理是什麼? ...
  • C++ 多級繼承 多級繼承是一種面向對象編程(OOP)特性,允許一個類從多個基類繼承屬性和方法。它使代碼更易於組織和維護,並促進代碼重用。 多級繼承的語法 在 C++ 中,使用 : 符號來指定繼承關係。多級繼承的語法如下: class DerivedClass : public BaseClass1 ...
  • 前言 什麼是SpringCloud? Spring Cloud 是一系列框架的有序集合,它利用 Spring Boot 的開發便利性簡化了分散式系統的開發,比如服務註冊、服務發現、網關、路由、鏈路追蹤等。Spring Cloud 並不是重覆造輪子,而是將市面上開發得比較好的模塊集成進去,進行封裝,從 ...
  • class_template 類模板和函數模板的定義和使用類似,我們已經進行了介紹。有時,有兩個或多個類,其功能是相同的,僅僅是數據類型不同。類模板用於實現類所需數據的類型參數化 template<class NameType, class AgeType> class Person { publi ...
  • 目錄system v IPC簡介共用記憶體需要用到的函數介面shmget函數--獲取對象IDshmat函數--獲得映射空間shmctl函數--釋放資源共用記憶體實現思路註意 system v IPC簡介 消息隊列、共用記憶體和信號量統稱為system v IPC(進程間通信機制),V是羅馬數字5,是UNI ...