[MySQL--SQL優化]

来源:https://www.cnblogs.com/liupengfei1123/archive/2023/06/01/17449009.html
-Advertisement-
Play Games

# [MySQL--SQL優化] # 1、insert優化(插入數據優化) - ## 建議使用批量插入 ```MYSQL # 批量插入避免頻繁連接斷開資料庫(一次連接插入多條數據) insert into 表名 values(數據1),(數據2),(數據3)...... ``` - ## 建議手動提 ...


[MySQL--SQL優化]

1、insert優化(插入數據優化)

  • 建議使用批量插入

    # 批量插入避免頻繁連接斷開資料庫(一次連接插入多條數據)
    	insert into 表名 values(數據1),(數據2),(數據3)......
    
  • 建議手動提交事務插入(避免頻繁開啟關閉事務)

    # 即開啟一次事務 執行多條sql
    
    start transaction;  # 開啟事務 
    # 執行多條sql
    insert into 表名 values(數據1),(數據2),(數據3);
    insert into 表名 values(數據4),(數據5),(數據6);
    insert into 表名 values(數據7),(數據8),(數據9);
    commit;  # 提交事務
    
    
  • 大批量插入數據(load指令)

    如果一次性需要插入大批量數據,使用insert語句插入性能較低,此時可以使用MySQL資料庫提供的load指令進行插入。

    操作如下:

    # 客戶端連接伺服器時,加上參數 --local-infile
    	mysql --local-infile -u 用戶名 -p 密碼
    	
    # 設置全局參數local-infile為1,開啟從本地載入文件導入數據的開關
    	1、查看是否開啟命令 
    		select @@local_infile;
    	2、開啟命令
    		set global local_infile = 1;
    		
    # 執行load指令將準備好的數據,載入到表格
    	load data local infile '/root/sql.log' into table 'tb_user' fields terminated by ',' lines terminated by '\n';
    	load data local infile '文件路徑' into table '表名' fields terminated by '什麼作為分割符' lines terminated by '每一行的結束符';
    	
    

    註意:主鍵順序插入的性能高於亂序插入!

2、主鍵優化

# 1)滿足業務需求的情況下、儘量降低主鍵的長度
	原因是我們二級索引的葉子節點存放的就是主鍵,如果主鍵過長且葉子節點過多會占用大量的磁碟空間!
	
# 2)插入數據時儘量選擇順序插入,選擇使用auto_increment主鍵自增
	如果不順序插入可能會存在頁分裂現象,如果按照順序插入則可避免
	
# 3)儘量不要使用uuid作為主鍵或者是其他自然主鍵,如身份證號!
	原因 uuid或者身份證號則無序且過長,影響效率!
	
# 4)業務操作時儘量避免對主鍵的修改。
	

3、order by優化

①. Using filesort:通過表的索引或全表掃描,讀取滿足條件的數據行,然後在排序緩衝區sort buffer中完成排序操作,所有不是通過索引直接返回排序結果的排序都叫file sort排序。

②. Using index:通過有序索引順序掃描直接返回有序數據,這種情況即為using index,不需要額外排序,操作效率高。

註意:儘量優化為Using index

# 1、根據排序欄位建立合適的索引,多欄位排序時,也遵循最左首碼法則
# 2、儘量使用覆蓋索引
# 3、多欄位排序,一個升序一個降序,此時需要註意聯合索引在創建時的規則(ASC/DESC)
# 4、如果不可避免的出現filesort,大數據量排序時,可以適當增大排序緩衝區大小sort_buffer_size(預設256k)。
	查看預設緩衝區大小命令
	show variables like 'sort_buffer_size';

4、group by優化

# 在分組操作時,可以通過索引來提高效率。
# 分組操作時,索引的使用也是滿足最左首碼法則的。

5、limit優化

  • 針對於大數據量的情況下 分頁查詢時越往後就會變得越耗時。所以我們需要通過優化limit來提升效率

    註意:官方建議通過覆蓋索引加子查詢來優化

    例如:
    
    未優化前:
    	select * from 表名 limit 9000000,10:
    	耗時 19s
    	
    	
    優化後:
    	# 可以直接使用覆蓋聚集索引,不需要回表查詢 提升效率
    	select id from 表名 order by id limit 9000000,10;
    	# 我們可以將查詢出來的id看作為一張新表
    	# 之後我們可以使用子查詢來獲取具體數據
    	select A.* from 表名1 as A,(select id from 表名 order by id limit 9000000,10:) as B where A.id == B.id;
    	# 括弧內可以看作為一張新表 然後進行連表查詢即可 大大提升效率
    	
    	耗時 12s
    	
    

6、count優化

  • MyISAM 引擎把一個表的總行數存在了磁碟上,因此執行count(*)的時候就會直接返回這個數,效率很高(僅僅在沒有where條件有效)

  • innoDB 引擎就麻煩了,它執行count(*)的時候,需要把數據一行一行地從引擎裡面讀出來。然後累計計數

優化思路:自己計數。

比如:我們可以自己維護一張表來專門存儲我們所需要記錄的數據,利用redis記憶體資料庫 加一條數據 就+1等

count的幾種用法

1.count(主鍵)

InnoDB引擎會遍歷整張表,把每一行的主鍵id值都取出來,返回給服務層。服務層拿到主鍵後,直接按行進行累加(主鍵不可能為nut)

2.count(欄位)

沒有 not nul約束:   Innodb引擎會遍歷整張表把每一行的欄位值都取出來,返回給服務層,服務層判斷是否為nu不為nu,計數累加。
有 not nu約束:   Innodb引擎會遍歷整張表把每一行的欄位值都取出來,返回給服務層,直接按行進行累加。

3.count(1)

Innodb引擎遍歷整張表,但不取值。服務層對於返回的每一行,放一個數字“1”進去,直接按行進行累加。

4.count(*)

Innodb引擎並不會把全部欄位取出來,而是專門做了優化,不取值,服務層直接按行進行累加。

按照效率排序的話, count欄位)< count(主鍵id< count(1) c count(·),所以儘量使用 count(*)

7、update優化

update student set no='2000100100' where id=1;

update student set no='2000100105' where name='韋一笑';

# Innode的行鎖是針對索引加的鎖,不是針對記錄加的鎖,並且該索引不能失效,否則會從行鎖升級為表鎖。
# 升級為表鎖就會降低性能!

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 1. ADO.NET的前世今生 ADO.NET的名稱起源於ADO(ActiveX Data Objects),是一個COM組件庫,用於在以往的Microsoft技術中訪問數據。之所以使用ADO.NET名稱,是因為Microsoft希望表明,這是在NET編程環境中優先使用的數據訪問介面。 ADO.NE ...
  • ### 前言 當我們編寫 C# 代碼時,經常需要處理大量的數據集合。在傳統的方式中,我們往往需要先將整個數據集合載入到記憶體中,然後再進行操作。但是如果數據集合非常大,這種方式就會導致記憶體占用過高,甚至可能導致程式崩潰。 C# 中的`yield return`機制可以幫助我們解決這個問題。通過使用`y ...
  • ## 引言 最近發現自己喜歡用的 Todo 軟體總是差點意思,畢竟每個人的習慣和工作流不太一樣,我就想著自己寫一個小的[Todo 項目]( https://github.com/circler3/TodoTrack ),核心的功能是自動記錄 Todo 執行過程中消耗的時間(尤其面向程式員),按照自己 ...
  • 目錄 一、函數 1.傳參 二、返回值 return 三、終止符 exit 四、實驗 一、函數 概念:函數是定義一個函數名,可以調用函數方法,完成便捷處理。 函數作用: 1.避免方法名重覆。 2.將代碼分割成一塊一塊,便於查看。 傳參:內部傳參 外部傳參 混合外部內部傳參混合外部內部傳參 例子演示: ...
  • Linux技術文檔 1.說明 研究思路:從Linux外部向內部研究,從外部工具到系統內核深入的研究思路。本文檔主要針對外部工具進行實驗。並賦予實驗結論。 2.系統內核初識 1.系統記憶體管理:管理物理記憶體與虛擬記憶體(內核通過硬碟上的存儲空間來時間虛擬記憶體,這塊區域稱為交換空間) 2.軟體程式管理:in ...
  • RTC簡介: RTC是一個獨立的定時器,它可以連續計數和提供了時鐘日曆功能。使用BKP寄存器存儲具有掉電保存功能 存粹的計時的, 觸發中斷 ——鬧鐘中斷,用來產生一個可編程的鬧鐘中斷。 ——秒中斷,用來產生一個可編程的周期性中斷信號(最快1秒,最慢1秒,只能1秒) ——溢出中斷,指示內部可編程計數器 ...
  • # 修改表 ## 修改表名 ```SQL -- 1.將名為 table1 的表修改為 table2 ALTER TABLE table1 RENAME table2; -- 示例 ALTER TABLE aggregate_test RENAME aggregate_test1; -- 2.將表 e ...
  • 雖然之前收集過網名資料庫,比如:《4萬個性網名大全網路名稱大全ACCESS資料庫》、《8萬多個網名大全QQ網名ACCESS資料庫》,但是都包含有~!#@等特殊符號,而今天這份則是沒有特殊符號的,並且記錄數達到了71萬且網名沒有重覆。 分類統計:搞笑網名(20577)、男生網名(66783)、女生網名 ...
一周排行
    -Advertisement-
    Play Games
  • 基於.NET Framework 4.8 開發的深度學習模型部署測試平臺,提供了YOLO框架的主流系列模型,包括YOLOv8~v9,以及其系列下的Det、Seg、Pose、Obb、Cls等應用場景,同時支持圖像與視頻檢測。模型部署引擎使用的是OpenVINO™、TensorRT、ONNX runti... ...
  • 十年沉澱,重啟開發之路 十年前,我沉浸在開發的海洋中,每日與代碼為伍,與演算法共舞。那時的我,滿懷激情,對技術的追求近乎狂熱。然而,隨著歲月的流逝,生活的忙碌逐漸占據了我的大部分時間,讓我無暇顧及技術的沉澱與積累。 十年間,我經歷了職業生涯的起伏和變遷。從初出茅廬的菜鳥到逐漸嶄露頭角的開發者,我見證了 ...
  • C# 是一種簡單、現代、面向對象和類型安全的編程語言。.NET 是由 Microsoft 創建的開發平臺,平臺包含了語言規範、工具、運行,支持開發各種應用,如Web、移動、桌面等。.NET框架有多個實現,如.NET Framework、.NET Core(及後續的.NET 5+版本),以及社區版本M... ...
  • 前言 本文介紹瞭如何使用三菱提供的MX Component插件實現對三菱PLC軟元件數據的讀寫,記錄了使用電腦模擬,模擬PLC,直至完成測試的詳細流程,並重點介紹了在這個過程中的易錯點,供參考。 用到的軟體: 1. PLC開發編程環境GX Works2,GX Works2下載鏈接 https:// ...
  • 前言 整理這個官方翻譯的系列,原因是網上大部分的 tomcat 版本比較舊,此版本為 v11 最新的版本。 開源項目 從零手寫實現 tomcat minicat 別稱【嗅虎】心有猛虎,輕嗅薔薇。 系列文章 web server apache tomcat11-01-官方文檔入門介紹 web serv ...
  • 1、jQuery介紹 jQuery是什麼 jQuery是一個快速、簡潔的JavaScript框架,是繼Prototype之後又一個優秀的JavaScript代碼庫(或JavaScript框架)。jQuery設計的宗旨是“write Less,Do More”,即倡導寫更少的代碼,做更多的事情。它封裝 ...
  • 前言 之前的文章把js引擎(aardio封裝庫) 微軟開源的js引擎(ChakraCore))寫好了,這篇文章整點js代碼來測一下bug。測試網站:https://fanyi.youdao.com/index.html#/ 逆向思路 逆向思路可以看有道翻譯js逆向(MD5加密,AES加密)附完整源碼 ...
  • 引言 現代的操作系統(Windows,Linux,Mac OS)等都可以同時打開多個軟體(任務),這些軟體在我們的感知上是同時運行的,例如我們可以一邊瀏覽網頁,一邊聽音樂。而CPU執行代碼同一時間只能執行一條,但即使我們的電腦是單核CPU也可以同時運行多個任務,如下圖所示,這是因為我們的 CPU 的 ...
  • 掌握使用Python進行文本英文統計的基本方法,並瞭解如何進一步優化和擴展這些方法,以應對更複雜的文本分析任務。 ...
  • 背景 Redis多數據源常見的場景: 分區數據處理:當數據量增長時,單個Redis實例可能無法處理所有的數據。通過使用多個Redis數據源,可以將數據分區存儲在不同的實例中,使得數據處理更加高效。 多租戶應用程式:對於多租戶應用程式,每個租戶可以擁有自己的Redis數據源,以確保數據隔離和安全性。 ...