Postgresql中最有用的擴展(Extensions)pg_stat_statements(譯)

来源:https://www.cnblogs.com/wy123/archive/2020/07/22/13363655.html
-Advertisement-
Play Games

原文地址:https://www.citusdata.com/blog/2019/02/08/the-most-useful-postgres-extension-pg-stat-statements/Postgresql的Extensions能夠延伸,更改和推進Postgres的行為。怎麼樣?通過 ...


原文地址:https://www.citusdata.com/blog/2019/02/08/the-most-useful-postgres-extension-pg-stat-statements/

Postgresql的Extensions能夠延伸,更改和推進Postgres的行為。怎麼樣?通過hooking Postgres 到底層的 API hooks。
開源的Citus資料庫水平擴展了Postgres,它本身就是一個PostgreSQL擴展,它允許Citus保持最新的Postgres版本,而不會像其他Postgres分支那樣落後。
儘管我以前已經寫過各種類型的擴展,但是今天我想更深入地瞭解最有用的Postgres擴展:pg_stat_statements。

如你所見,我剛從FOSDEM回來。 FOSDEM是在布魯塞爾舉行的年度免費開源軟體會議,在活動中,我在PostgreSQL開發室中發表了有關Postgres擴展的演講
到今天結束時,Postgres開發室中進行的一半以上的討論都提到了pg_stat_statements:
Most frequently dispensed #PostgreSQL tip-of-the-day here in the Postgres devroom at #FOSDEM? Use pg_stat_statements! @Xof’s talk on Breaking PostgreSQL at Scale is the 4th talk today to drive this point home HT @craig @net_snow @magnushagander pic.twitter.com/Tcwkhy8W8h
— Claire Giordano (@clairegiordano) February 3, 2019

如果您使用Postgres,但尚未使用pg_stat_statements,則必須將其添加到工具箱中。即使您很熟悉,也可能值得回顧一下。

pg_stat_statements入門

pg_stat_statements是所謂的contrib擴展名,可以在PostgreSQL發行版的contrib目錄中找到。
這意味著它已經隨Postgres一起提供了,您不必從源代碼構建它或安裝軟體包。如果尚未啟用資料庫,則可能必須啟用它。這很簡單:

CREATE EXTENSION pg_stat_statements;

如果您在主要的雲提供商上運行,則很有可能他們已經為您安裝並啟用了它。
一旦安裝了pg_stat_statements,它就會開始悄悄地在後臺運行。 Pg_stat_statements記錄針對您的資料庫運行的查詢,從中刪除許多變數,然後保存有關該查詢的數據,例如花費了多長時間以及基礎讀/寫發生了什麼。
註意:它不會保存每個查詢,而是對其進行參數化,然後保存彙總結果

讓我們來看幾個示例。假設我們執行以下查詢:

SELECT order_details.qty,
       order_details.item_id,
       order_details.item_price
FROM order_details,
     customers
WHERE customers.id = order_details.customer_id
  AND customers.email = '[email protected]'

它將查詢轉換為:

SELECT order_details.qty,
       order_details.item_id,
       order_details.item_price
FROM order_details,
     customers
WHERE customers.id = order_details.customer_id
  AND customers.email = '?'

如果這是我在應用程式中經常執行的查詢,以獲取諸如零售訂單歷史記錄之類的訂單詳細信息,那麼它不會簡化我為每個用戶運行該訂單的頻率數據,而是通過彙總視圖來簡化存儲。

觀察pg_stat_statements數據

SELECT * 
FROM pg_stat_statements;

userid              | 16384
dbid                | 16388
query               | select * from users where email = ?;
calls               | 2
total_time          | 0.000268
rows                | 2
shared_blks_hit     | 16
shared_blks_read    | 0
shared_blks_dirtied | 0
shared_blks_written | 0
local_blks_hit      | 0
local_blks_read     | 0
local_blks_dirtied  | 0
local_blks_written  | 0

彙總pg_stat_statements歷史記錄

現在,這裡有大量有價值的信息,作為高級用戶,有時它們都可以證明是有價值的。
但是,即使沒有開始瞭解資料庫的內部結構,您仍然可以通過以某些方式查詢pg_stat_statements來獲得一些真正強大的見解。
通過查看total_time和每個查詢被調用一次的次數,我們可以非常快速地瞭解哪些查詢經常運行以及它們平均消耗了多少:

SELECT 
  (total_time / 1000 / 60) as total, 
  (total_time/calls) as avg, 
  query 
FROM pg_stat_statements 
ORDER BY 1 DESC 
LIMIT 100;

您可以採用多種不同的方式來對此進行過濾和排序,您可能只希望關註運行1000次以上的查詢。或平均超過100毫秒的查詢。
上面的查詢向我們顯示了資料庫消耗的總時間(以分鐘為單位)以及平均時間(以毫秒為單位)。
通過上面的查詢,我會得到如下所示的內容:

   total  |   avg  |        query
  --------+--------+-------------------------
   295.76 |  10.13 | SELECT id FROM users...
   219.13 |  80.24 | SELECT * FROM ...
  (2 rows)

根據經驗,我知道在快速獲取記錄時,PostgreSQL應該能夠在1ms內返回。
鑒於此,我可以開始優化工作。在上面的內容中,我看到將第一個查詢降低到1ms會有所改善,但是優化第二個查詢將使我的系統整體性能得到更大的提升。

特別說明:如果要構建多租戶應用,則可能不希望pg_stat_statements參數化tenant_id。為瞭解決這個問題,我們構建了citus_stat_statements來為每個租戶提供見解。

如果您從未(甚至在過去的一個月中)都沒有查看過pg_stat_statements中的數據,那麼今天對您來說是個好日子。
它可以告訴您哪些地方可以優化?我們希望聽到您發現@citusdata的內容。

享受您正在閱讀的內容嗎?
如果您有興趣閱讀我們團隊的更多帖子,請註冊我們的每月時事通訊,並將最新內容直接發送到您的收件箱。

 

譯者註:

1,原來類似功能就叫做“Extensions”,打開後就是記錄歷史SQL執行代價的彙總信息。
2,Postgresql中的pg_stat_statements有點類似於MySQL中的general query log,或者sqlserver中的執行計劃緩存sys.dm_exec_query_stats,他是基於移除參數的sql做模板,直接彙總了一個SQL的調用以及消耗情況
3,不清楚pg_stat_statements可以設置篩選條件,類似於sqlserver中的擴展事件,比如可以基於庫,用戶,或者語句,或者超出一定時間的語句做篩選,目前這種記錄方式說實話參考意義有限。
4,開啟了pg_stat_statements之後,對性能有多大的影響?
5,如何清理或者自定義的方式重置pg_stat_statements中的歷史記錄?select pg_stat_statements_reset();    




您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 安裝自動補齊需要依賴工具 yum install -y bash-completion docker命令補齊: 執行下列命令 sh /usr/share/bash-completion/bash_completion sh /usr/share/bash-completion/completions ...
  • 我對ubuntu的紫色不太喜歡,我比較喜歡黑色;雖然20.04版本換成了黑色,登錄界面也很好看;但是我用的是舊版本ubuntu,所以只能動手改了; grub界面顏色設置: vim /usr/share/plymouth/themes/ubuntu-logo/ubuntu-logo.grub; 結束後 ...
  • 近期,重新玩了玩kali下的airmon-ng等一套工具“破解”自家wifi密碼。 首先,有關處理2.4Ghz的wifi,在網上講解詳細且含圖文搭配的教程有許多,所以在這裡就不多贅述了。 這裡,主要說明一下處理5Ghz的wifi,在鎖定目標wifi後使用aireplay-ng指令抓取握手包時在確定無 ...
  • 普通的存儲器器件為單埠,也就是數據的輸入輸出只利用一個埠,設計了兩個輸入輸出埠的就是雙埠sram。雖然還具有擴展系列的4埠sram,但雙埠sram已經非常不錯了。雙埠sram經常應用於cpu與其周邊控制器等類似需要直接訪問存儲器或者需要隨機訪問緩衝器之類的器件之間進行通信的情況。從存儲 ...
  • 在Zabbix Server伺服器上安裝oracle-instantclient11.2後,結果使用sqlplus命令時遇到“sqlplus: error while loading shared libraries: libnsl.so.1: cannot open shared object f... ...
  • 本文更新於2020-05-03,使用MySQL 5.7,操作系統為Deepin 15.4。 許可權 許可權存取需要用到mysql庫中user、db、host、tables_priv、columns_prvi這幾個許可權表。列分為4個部分:用戶列、許可權列、安全列、資源控制列。許可權列又分為普通許可權和管理許可權。 ...
  • 開始之前明確一下死鎖和鎖等待這兩個事件的異同相同的之處:兩者都是當前事物在試圖請求被其他事物已經占用的鎖,從而造成當前事物無法執行的現象不同的之處:死鎖是相關session雙方或者多方中必然要犧牲(回滾)至少一個事務,否則雙方(或者多方)都無法執行;鎖等待則不然,對於暫時無法申請到的鎖,嘗試持續地“ ...
  • MHA(Master HA)是一款開源的 MySQL 的高可用程式,它為 MySQL 主從複製架構提供了 automating master failover 功能。MHA 在監控到 master 節點故障時,會提升其中擁有最新數據的 slave 節點成為新的master 節點,在此期間,MHA 會 ...
一周排行
    -Advertisement-
    Play Games
  • 前言 在我們開發過程中基本上不可或缺的用到一些敏感機密數據,比如SQL伺服器的連接串或者是OAuth2的Secret等,這些敏感數據在代碼中是不太安全的,我們不應該在源代碼中存儲密碼和其他的敏感數據,一種推薦的方式是通過Asp.Net Core的機密管理器。 機密管理器 在 ASP.NET Core ...
  • 新改進提供的Taurus Rpc 功能,可以簡化微服務間的調用,同時可以不用再手動輸出模塊名稱,或調用路徑,包括負載均衡,這一切,由框架實現並提供了。新的Taurus Rpc 功能,將使得服務間的調用,更加輕鬆、簡約、高效。 ...
  • 順序棧的介面程式 目錄順序棧的介面程式頭文件創建順序棧入棧出棧利用棧將10進位轉16進位數驗證 頭文件 #include <stdio.h> #include <stdbool.h> #include <stdlib.h> 創建順序棧 // 指的是順序棧中的元素的數據類型,用戶可以根據需要進行修改 ...
  • 前言 整理這個官方翻譯的系列,原因是網上大部分的 tomcat 版本比較舊,此版本為 v11 最新的版本。 開源項目 從零手寫實現 tomcat minicat 別稱【嗅虎】心有猛虎,輕嗅薔薇。 系列文章 web server apache tomcat11-01-官方文檔入門介紹 web serv ...
  • C總結與剖析:關鍵字篇 -- <<C語言深度解剖>> 目錄C總結與剖析:關鍵字篇 -- <<C語言深度解剖>>程式的本質:二進位文件變數1.變數:記憶體上的某個位置開闢的空間2.變數的初始化3.為什麼要有變數4.局部變數與全局變數5.變數的大小由類型決定6.任何一個變數,記憶體賦值都是從低地址開始往高地 ...
  • 如果讓你來做一個有狀態流式應用的故障恢復,你會如何來做呢? 單機和多機會遇到什麼不同的問題? Flink Checkpoint 是做什麼用的?原理是什麼? ...
  • C++ 多級繼承 多級繼承是一種面向對象編程(OOP)特性,允許一個類從多個基類繼承屬性和方法。它使代碼更易於組織和維護,並促進代碼重用。 多級繼承的語法 在 C++ 中,使用 : 符號來指定繼承關係。多級繼承的語法如下: class DerivedClass : public BaseClass1 ...
  • 前言 什麼是SpringCloud? Spring Cloud 是一系列框架的有序集合,它利用 Spring Boot 的開發便利性簡化了分散式系統的開發,比如服務註冊、服務發現、網關、路由、鏈路追蹤等。Spring Cloud 並不是重覆造輪子,而是將市面上開發得比較好的模塊集成進去,進行封裝,從 ...
  • class_template 類模板和函數模板的定義和使用類似,我們已經進行了介紹。有時,有兩個或多個類,其功能是相同的,僅僅是數據類型不同。類模板用於實現類所需數據的類型參數化 template<class NameType, class AgeType> class Person { publi ...
  • 目錄system v IPC簡介共用記憶體需要用到的函數介面shmget函數--獲取對象IDshmat函數--獲得映射空間shmctl函數--釋放資源共用記憶體實現思路註意 system v IPC簡介 消息隊列、共用記憶體和信號量統稱為system v IPC(進程間通信機制),V是羅馬數字5,是UNI ...