Postgresql中最有用的擴展(Extensions)pg_stat_statements(譯)

来源:https://www.cnblogs.com/wy123/archive/2020/07/22/13363655.html
-Advertisement-
Play Games

原文地址:https://www.citusdata.com/blog/2019/02/08/the-most-useful-postgres-extension-pg-stat-statements/Postgresql的Extensions能夠延伸,更改和推進Postgres的行為。怎麼樣?通過 ...


原文地址:https://www.citusdata.com/blog/2019/02/08/the-most-useful-postgres-extension-pg-stat-statements/

Postgresql的Extensions能夠延伸,更改和推進Postgres的行為。怎麼樣?通過hooking Postgres 到底層的 API hooks。
開源的Citus資料庫水平擴展了Postgres,它本身就是一個PostgreSQL擴展,它允許Citus保持最新的Postgres版本,而不會像其他Postgres分支那樣落後。
儘管我以前已經寫過各種類型的擴展,但是今天我想更深入地瞭解最有用的Postgres擴展:pg_stat_statements。

如你所見,我剛從FOSDEM回來。 FOSDEM是在布魯塞爾舉行的年度免費開源軟體會議,在活動中,我在PostgreSQL開發室中發表了有關Postgres擴展的演講
到今天結束時,Postgres開發室中進行的一半以上的討論都提到了pg_stat_statements:
Most frequently dispensed #PostgreSQL tip-of-the-day here in the Postgres devroom at #FOSDEM? Use pg_stat_statements! @Xof’s talk on Breaking PostgreSQL at Scale is the 4th talk today to drive this point home HT @craig @net_snow @magnushagander pic.twitter.com/Tcwkhy8W8h
— Claire Giordano (@clairegiordano) February 3, 2019

如果您使用Postgres,但尚未使用pg_stat_statements,則必須將其添加到工具箱中。即使您很熟悉,也可能值得回顧一下。

pg_stat_statements入門

pg_stat_statements是所謂的contrib擴展名,可以在PostgreSQL發行版的contrib目錄中找到。
這意味著它已經隨Postgres一起提供了,您不必從源代碼構建它或安裝軟體包。如果尚未啟用資料庫,則可能必須啟用它。這很簡單:

CREATE EXTENSION pg_stat_statements;

如果您在主要的雲提供商上運行,則很有可能他們已經為您安裝並啟用了它。
一旦安裝了pg_stat_statements,它就會開始悄悄地在後臺運行。 Pg_stat_statements記錄針對您的資料庫運行的查詢,從中刪除許多變數,然後保存有關該查詢的數據,例如花費了多長時間以及基礎讀/寫發生了什麼。
註意:它不會保存每個查詢,而是對其進行參數化,然後保存彙總結果

讓我們來看幾個示例。假設我們執行以下查詢:

SELECT order_details.qty,
       order_details.item_id,
       order_details.item_price
FROM order_details,
     customers
WHERE customers.id = order_details.customer_id
  AND customers.email = '[email protected]'

它將查詢轉換為:

SELECT order_details.qty,
       order_details.item_id,
       order_details.item_price
FROM order_details,
     customers
WHERE customers.id = order_details.customer_id
  AND customers.email = '?'

如果這是我在應用程式中經常執行的查詢,以獲取諸如零售訂單歷史記錄之類的訂單詳細信息,那麼它不會簡化我為每個用戶運行該訂單的頻率數據,而是通過彙總視圖來簡化存儲。

觀察pg_stat_statements數據

SELECT * 
FROM pg_stat_statements;

userid              | 16384
dbid                | 16388
query               | select * from users where email = ?;
calls               | 2
total_time          | 0.000268
rows                | 2
shared_blks_hit     | 16
shared_blks_read    | 0
shared_blks_dirtied | 0
shared_blks_written | 0
local_blks_hit      | 0
local_blks_read     | 0
local_blks_dirtied  | 0
local_blks_written  | 0

彙總pg_stat_statements歷史記錄

現在,這裡有大量有價值的信息,作為高級用戶,有時它們都可以證明是有價值的。
但是,即使沒有開始瞭解資料庫的內部結構,您仍然可以通過以某些方式查詢pg_stat_statements來獲得一些真正強大的見解。
通過查看total_time和每個查詢被調用一次的次數,我們可以非常快速地瞭解哪些查詢經常運行以及它們平均消耗了多少:

SELECT 
  (total_time / 1000 / 60) as total, 
  (total_time/calls) as avg, 
  query 
FROM pg_stat_statements 
ORDER BY 1 DESC 
LIMIT 100;

您可以採用多種不同的方式來對此進行過濾和排序,您可能只希望關註運行1000次以上的查詢。或平均超過100毫秒的查詢。
上面的查詢向我們顯示了資料庫消耗的總時間(以分鐘為單位)以及平均時間(以毫秒為單位)。
通過上面的查詢,我會得到如下所示的內容:

   total  |   avg  |        query
  --------+--------+-------------------------
   295.76 |  10.13 | SELECT id FROM users...
   219.13 |  80.24 | SELECT * FROM ...
  (2 rows)

根據經驗,我知道在快速獲取記錄時,PostgreSQL應該能夠在1ms內返回。
鑒於此,我可以開始優化工作。在上面的內容中,我看到將第一個查詢降低到1ms會有所改善,但是優化第二個查詢將使我的系統整體性能得到更大的提升。

特別說明:如果要構建多租戶應用,則可能不希望pg_stat_statements參數化tenant_id。為瞭解決這個問題,我們構建了citus_stat_statements來為每個租戶提供見解。

如果您從未(甚至在過去的一個月中)都沒有查看過pg_stat_statements中的數據,那麼今天對您來說是個好日子。
它可以告訴您哪些地方可以優化?我們希望聽到您發現@citusdata的內容。

享受您正在閱讀的內容嗎?
如果您有興趣閱讀我們團隊的更多帖子,請註冊我們的每月時事通訊,並將最新內容直接發送到您的收件箱。

 

譯者註:

1,原來類似功能就叫做“Extensions”,打開後就是記錄歷史SQL執行代價的彙總信息。
2,Postgresql中的pg_stat_statements有點類似於MySQL中的general query log,或者sqlserver中的執行計劃緩存sys.dm_exec_query_stats,他是基於移除參數的sql做模板,直接彙總了一個SQL的調用以及消耗情況
3,不清楚pg_stat_statements可以設置篩選條件,類似於sqlserver中的擴展事件,比如可以基於庫,用戶,或者語句,或者超出一定時間的語句做篩選,目前這種記錄方式說實話參考意義有限。
4,開啟了pg_stat_statements之後,對性能有多大的影響?
5,如何清理或者自定義的方式重置pg_stat_statements中的歷史記錄?select pg_stat_statements_reset();    




您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 安裝自動補齊需要依賴工具 yum install -y bash-completion docker命令補齊: 執行下列命令 sh /usr/share/bash-completion/bash_completion sh /usr/share/bash-completion/completions ...
  • 我對ubuntu的紫色不太喜歡,我比較喜歡黑色;雖然20.04版本換成了黑色,登錄界面也很好看;但是我用的是舊版本ubuntu,所以只能動手改了; grub界面顏色設置: vim /usr/share/plymouth/themes/ubuntu-logo/ubuntu-logo.grub; 結束後 ...
  • 近期,重新玩了玩kali下的airmon-ng等一套工具“破解”自家wifi密碼。 首先,有關處理2.4Ghz的wifi,在網上講解詳細且含圖文搭配的教程有許多,所以在這裡就不多贅述了。 這裡,主要說明一下處理5Ghz的wifi,在鎖定目標wifi後使用aireplay-ng指令抓取握手包時在確定無 ...
  • 普通的存儲器器件為單埠,也就是數據的輸入輸出只利用一個埠,設計了兩個輸入輸出埠的就是雙埠sram。雖然還具有擴展系列的4埠sram,但雙埠sram已經非常不錯了。雙埠sram經常應用於cpu與其周邊控制器等類似需要直接訪問存儲器或者需要隨機訪問緩衝器之類的器件之間進行通信的情況。從存儲 ...
  • 在Zabbix Server伺服器上安裝oracle-instantclient11.2後,結果使用sqlplus命令時遇到“sqlplus: error while loading shared libraries: libnsl.so.1: cannot open shared object f... ...
  • 本文更新於2020-05-03,使用MySQL 5.7,操作系統為Deepin 15.4。 許可權 許可權存取需要用到mysql庫中user、db、host、tables_priv、columns_prvi這幾個許可權表。列分為4個部分:用戶列、許可權列、安全列、資源控制列。許可權列又分為普通許可權和管理許可權。 ...
  • 開始之前明確一下死鎖和鎖等待這兩個事件的異同相同的之處:兩者都是當前事物在試圖請求被其他事物已經占用的鎖,從而造成當前事物無法執行的現象不同的之處:死鎖是相關session雙方或者多方中必然要犧牲(回滾)至少一個事務,否則雙方(或者多方)都無法執行;鎖等待則不然,對於暫時無法申請到的鎖,嘗試持續地“ ...
  • MHA(Master HA)是一款開源的 MySQL 的高可用程式,它為 MySQL 主從複製架構提供了 automating master failover 功能。MHA 在監控到 master 節點故障時,會提升其中擁有最新數據的 slave 節點成為新的master 節點,在此期間,MHA 會 ...
一周排行
    -Advertisement-
    Play Games
  • Dapr Outbox 是1.12中的功能。 本文只介紹Dapr Outbox 執行流程,Dapr Outbox基本用法請閱讀官方文檔 。本文中appID=order-processor,topic=orders 本文前提知識:熟悉Dapr狀態管理、Dapr發佈訂閱和Outbox 模式。 Outbo ...
  • 引言 在前幾章我們深度講解了單元測試和集成測試的基礎知識,這一章我們來講解一下代碼覆蓋率,代碼覆蓋率是單元測試運行的度量值,覆蓋率通常以百分比表示,用於衡量代碼被測試覆蓋的程度,幫助開發人員評估測試用例的質量和代碼的健壯性。常見的覆蓋率包括語句覆蓋率(Line Coverage)、分支覆蓋率(Bra ...
  • 前言 本文介紹瞭如何使用S7.NET庫實現對西門子PLC DB塊數據的讀寫,記錄了使用電腦模擬,模擬PLC,自至完成測試的詳細流程,並重點介紹了在這個過程中的易錯點,供參考。 用到的軟體: 1.Windows環境下鏈路層網路訪問的行業標準工具(WinPcap_4_1_3.exe)下載鏈接:http ...
  • 從依賴倒置原則(Dependency Inversion Principle, DIP)到控制反轉(Inversion of Control, IoC)再到依賴註入(Dependency Injection, DI)的演進過程,我們可以理解為一種逐步抽象和解耦的設計思想。這種思想在C#等面向對象的編 ...
  • 關於Python中的私有屬性和私有方法 Python對於類的成員沒有嚴格的訪問控制限制,這與其他面相對對象語言有區別。關於私有屬性和私有方法,有如下要點: 1、通常我們約定,兩個下劃線開頭的屬性是私有的(private)。其他為公共的(public); 2、類內部可以訪問私有屬性(方法); 3、類外 ...
  • C++ 訪問說明符 訪問說明符是 C++ 中控制類成員(屬性和方法)可訪問性的關鍵字。它們用於封裝類數據並保護其免受意外修改或濫用。 三種訪問說明符: public:允許從類外部的任何地方訪問成員。 private:僅允許在類內部訪問成員。 protected:允許在類內部及其派生類中訪問成員。 示 ...
  • 寫這個隨筆說一下C++的static_cast和dynamic_cast用在子類與父類的指針轉換時的一些事宜。首先,【static_cast,dynamic_cast】【父類指針,子類指針】,兩兩一組,共有4種組合:用 static_cast 父類轉子類、用 static_cast 子類轉父類、使用 ...
  • /******************************************************************************************************** * * * 設計雙向鏈表的介面 * * * * Copyright (c) 2023-2 ...
  • 相信接觸過spring做開發的小伙伴們一定使用過@ComponentScan註解 @ComponentScan("com.wangm.lifecycle") public class AppConfig { } @ComponentScan指定basePackage,將包下的類按照一定規則註冊成Be ...
  • 操作系統 :CentOS 7.6_x64 opensips版本: 2.4.9 python版本:2.7.5 python作為腳本語言,使用起來很方便,查了下opensips的文檔,支持使用python腳本寫邏輯代碼。今天整理下CentOS7環境下opensips2.4.9的python模塊筆記及使用 ...