Doris(三) -- Rollup和物化視圖

来源:https://www.cnblogs.com/paopaoT/archive/2023/05/29/17441495.html
-Advertisement-
Play Games

# Rollup ROLLUP 在多維分析中是“上捲”的意思，即將數據按某種指定的粒度進行進一步聚合。 通過建表語句創建出來的表稱為 Base 表（Base Table,基表） 在 Base 表之上，我們可以創建任意多個 ROLLUP 表。這些 ROLLUP 的數據是基於 Base 表產生的，並且在 ...


Rollup

ROLLUP 在多維分析中是“上捲”的意思，即將數據按某種指定的粒度進行進一步聚合。
通過建表語句創建出來的表稱為 Base 表（Base Table,基表）
在 Base 表之上，我們可以創建任意多個 ROLLUP 表。這些 ROLLUP 的數據是基於 Base 表產生的，並且在物理上是獨立存儲的。
Rollup表的好處：

  1. 和基表共用一個表名，doris會根據具體的查詢邏輯選擇合適的數據源(合適的表)來計算結果
  2. 對於基表中數據的增刪改，rollup表會自動更新同步

Aggregate 模型中的 ROLLUP

添加一個roll up

alter table aggregate表名 add rollup "rollup表的表名" (user_id,city,date,cost);

alter table ex_user add rollup rollup_ucd_cost(user_id,city,date,cost);

alter table ex_user add rollup rollup_u_cost(user_id,cost);

alter table ex_user add rollup rollup_cd_cost(city,date,cost);

alter table ex_user drop rollup rollup_u_cost;

alter table ex_user drop rollup rollup_cd_cost;

--如果是replace聚合類型得value，需要指定所有得key
-- alter table ex_user add rollup rollup_cd_visit(city,date,last_visit_date);
-- ERROR 1105 (HY000): errCode = 2, detailMessage = Rollup should contains 
-- all keys if there is a REPLACE value

--添加完成之後可以show一下，看看底層的rollup有沒有執行完成
SHOW ALTER TABLE ROLLUP;

在查詢時, Doris 會自動命中這個 ROLLUP 表，從而只需掃描極少的數據量，即可完成這次聚合查詢。

explain SELECT user_id, sum(cost) FROM ex_user GROUP BY user_id;

獲取不同城市，不同年齡段用戶的總消費、最長和最短頁面駐留時間

 alter table ex_user add rollup rollup_city(city,age,cost,max_dwell_time,min_dwell_time);
 
 -- 當創建好了立即去查看得時候就會發現，他還沒有開始
 SHOW ALTER TABLE ROLLUP;
 然後過會再去查詢得時候，他就完成了，看他的狀態即可

Unique 模型中的 ROLLUP

-- unique模型示例表
drop table if exists test.user;
CREATE TABLE IF NOT EXISTS test.user
(
 `user_id` LARGEINT NOT NULL COMMENT "用戶 id",
 `username` VARCHAR(50) NOT NULL COMMENT "用戶昵稱",
 `city` VARCHAR(20) COMMENT "用戶所在城市",
 `age` SMALLINT COMMENT "用戶年齡",
 `sex` TINYINT COMMENT "用戶性別",
 `phone` LARGEINT COMMENT "用戶電話",
 `address` VARCHAR(500) COMMENT "用戶地址",
 `register_time` DATETIME COMMENT "用戶註冊時間" )
UNIQUE KEY(`user_id`, `username`)
DISTRIBUTED BY HASH(`user_id`) BUCKETS 1;

--插入語句
insert into test.user values\
(10000,'zss','北京',18,0,12345678910,'北京朝陽區 ','2017-10-01 07:00:00'),\
(10000,'zss','北京',18,0,12345678910,'北京朝陽區 ','2017-10-01 08:00:00'),\
(10001,'lss','北京',20,0,12345678910,'北京海澱區','2017-11-15 06:10:20');


-- 在unique模型中做rollup表，rollup的key必須延用base表中所有的key，不同的是value可以隨意指定
-- 所以說，unique模型中建立rollup表沒有什麼太多的意義
alter table user add rollup rollup_username_id(username,user_id,age);

Duplicate 模型中的 ROLLUP

因為 Duplicate 模型沒有聚合的語意。所以該模型中的 ROLLUP，已經失去了“上捲” 這一層含義。而僅僅是作為調整列順序，以命中首碼索引的作用。下麵詳細介紹首碼索引，以及如何使用 ROLLUP 改變首碼索引，以獲得更好的查詢效率。
ROLLUP 調整首碼索引（新增一套首碼索引）
因為建表時已經指定了列順序，所以一個表只有一種首碼索引。這對於使用其他不能命中首碼索引的列作為條件進行的查詢來說，效率上可能無法滿足需求。因此，我們可以通過創建 ROLLUP 來人為的調整列順序。

-- 針對log_detail這張基表添加兩個rollup表
-- 按照type 和error_code 進行建首碼索引
alter table log_detail add rollup rollup_tec(type,error_code,timestamp,error_msg,op_id,op_time);
alter table log_detail drop rolluprollup_tec

-- 按照op_id和error_code 進行建首碼索引
alter table log_detail add rollup rollup_oec(op_id,error_code,timestamp,type,error_msg,op_time);

-- 查看基表和rollup表
desc log_detail all;

ROLLUP使用說明

  1. ROLLUP 是附屬於 Base 表的,用戶可以在 Base 表的基礎上，創建或刪除 ROLLUP，但是不能在查詢中顯式的指定查詢某 ROLLUP。是否命中 ROLLUP 完全由 Doris 系統自動決定
  2. ROLLUP 的數據是獨立物理存儲的。因此，創建的 ROLLUP 越多，占用的磁碟空間也就越大。同時對導入速度也會有影響，但是不會降低查詢效率（只會更好）。
  3. ROLLUP 的數據更新與 Base 表是完全同步的。用戶無需關心這個問題。
  4. 在聚合模型中，ROLLUP 中列的聚合類型，與 Base 表完全相同。在創建 ROLLUP 無需指定，也不能修改。
  5. 可以通過 EXPLAIN your_sql; 命令獲得查詢執行計劃，在執行計劃中，查看是否命中 ROLLUP。
  6. 可以通過 DESC tbl_name ALL; 語句顯示 Base 表和所有已創建完成的 ROLLUP

物化視圖

就是查詢結果預先存儲起來的特殊的表。物化視圖的出現主要是為了滿足用戶，既能對原始明細數據的任意維度分析，也能快速的對固定維度進行分析查詢

優勢

  1. 可以復用預計算的結果來提高查詢效率 ==> 空間換時間
  2. 自動實時的維護物化視圖表中的結果數據，無需額外人工成本(自動維護會有計算資源的開銷)
  3. 查詢時，會自動選擇最優物化視圖

物化視圖 VS Rollup

• 明細模型表下，rollup和物化視圖的差別：
物化視圖：都可以實現預聚合，新增一套首碼索引
rollup：對於明細模型，新增一套首碼索引
• 聚合模型下，功能一致

創建物化視圖

CREATE MATERIALIZED VIEW [MV name] as 
[query]  -- sql邏輯

--[MV name]：物化視圖的名稱
--[query]：查詢條件，基於base表創建物化視圖的邏輯
-- 物化視圖創建成功後，用戶的查詢不需要發生任何改變，也就是還是查詢的 base 表。Doris 會根據當前查詢的語句去自動選擇一個最優的物化視圖，從物化視圖中讀取數據並計算。
-- 用戶可以通過 EXPLAIN 命令來檢查當前查詢是否使用了物化視圖。

create table sales_records(
record_id int, 
seller_id int, 
store_id int, 
sale_date date, 
sale_amt bigint) 
duplicate key (record_id,seller_id,store_id,sale_date)
distributed by hash(record_id) buckets 2
properties("replication_num" = "1");

-- 插入數據
insert into sales_records values \
(1,1,1,'2022-02-02',100),\
(2,2,1,'2022-02-02',200),\
(3,3,2,'2022-02-02',300),\
(4,3,2,'2022-02-02',200),\
(5,2,1,'2022-02-02',100),\
(6,4,2,'2022-02-02',200),\
(7,7,3,'2022-02-02',300),\
(8,2,1,'2022-02-02',400),\
(9,9,4,'2022-02-02',100);

-- 創建一個物化視圖
select store_id, sum(sale_amt)  
from sales_records  
group by store_id; 

CREATE MATERIALIZED VIEW store_id_sale_amonut as 
select store_id, sum(sale_amt)  
from sales_records  
group by store_id;

CREATE MATERIALIZED VIEW store_amt as 
select store_id, sum(sale_amt)  as sum_amount
from sales_records  
group by store_id; 

--針對上述場景做一個物化視圖
create materialized view store_amt as  
select store_id, sum(sale_amt) as sum_amount 
from sales_records  
group by store_id; 

-- 檢查物化視圖是否構建完成(物化視圖的創建是個非同步的過程)
show alter table materialized view from 庫名  order by CreateTime desc limit 1;

show alter table materialized view from test order by CreateTime desc limit 1;

-- 查看 Base 表的所有物化視圖 
desc sales_records all;

--查詢並查看是否命中剛纔我們建的物化視圖
EXPLAIN SELECT store_id, sum(sale_amt) FROM sales_records GROUP BY store_id;


-- 刪除物化視圖語法
-- 語法：
DROP MATERIALIZED VIEW 物化視圖名 on base_table_name; 

--示例：
drop materialized view store_amt on sales_records;

練習

計算廣告的 pv、uv

pv:page view，頁面瀏覽量或點擊量
uv:unique view，通過互聯網訪問、瀏覽這個網頁的自然人

-- 創建表
drop table if exists ad_view_record;
create table ad_view_record( 
dt date,  
ad_page varchar(10),  
channel varchar(10), 
refer_page varchar(10), 
user_id int 
)  
distributed by hash(dt)  
properties("replication_num" = "1");


select 
dt,ad_page,channel,
count(ad_page) as pv,  
count(distinct user_id ) as uv
from ad_view_record
group by dt,ad_page,channel


-- 插入數據
insert into ad_view_record values \
('2020-02-02','a','app','/home',1),\
('2020-02-02','a','web','/home',1),\
('2020-02-02','a','app','/addbag',2),\
('2020-02-02','b','app','/home',1),\
('2020-02-02','b','web','/home',1),\
('2020-02-02','b','app','/addbag',2),\
('2020-02-02','b','app','/home',3),\
('2020-02-02','b','web','/home',3),\
('2020-02-02','c','app','/order',1),\
('2020-02-02','c','app','/home',1),\
('2020-02-03','c','web','/home',1),\
('2020-02-03','c','app','/order',4),\
('2020-02-03','c','app','/home',5),\
('2020-02-03','c','web','/home',6),\
('2020-02-03','d','app','/addbag',2),\
('2020-02-03','d','app','/home',2),\
('2020-02-03','d','web','/home',3),\
('2020-02-03','d','app','/addbag',4),\
('2020-02-03','d','app','/home',5),\
('2020-02-03','d','web','/addbag',6),\
('2020-02-03','d','app','/home',5),\
('2020-02-03','d','web','/home',4);

-- 創建物化視圖
-- 在doris的物化視圖中，一個欄位不能用兩次,並且聚合函數後面必須跟欄位名稱
-- count(distinct) 不能使用。需要用bitmap_union來代替
create materialized view tpc_pv_uv as  
select
dt,ad_page,channel,
count(refer_page) as pv,
bitmap_union(to_bitmap(user_id)) as uv_bitmap
from ad_view_record 
group by dt,ad_page,channel;

-- 在 Doris 中，count(distinct) 聚合的結果和 bitmap_union_count 聚合的結果是完全一致的。而 bitmap_union_count 等於 bitmap_union 的結果求 count，所以如果查詢中涉及到count(distinct) 則通過創建帶 bitmap_union 聚合的物化視圖方可加快查詢。因為本身 user_id 是一個 INT 類型，所以在 Doris 中需要先將欄位通過函數 to_bitmap 轉換為 bitmap 類型然後才可以進行 bitmap_union 聚合。

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • WPF 入門筆記 - 02 - 佈局綜合應用
    本篇博文對接上篇末尾處WPF常用佈局控制項的綜合應用，為[痕跡g](https://www.cnblogs.com/zh7791/p/11369020.html)佈局控制項介紹課後作業的一種思路方法。 ...
  • Unity的IPostGenerateGradleAndroidProject：深入解析與實用案例
    # Unity IPostGenerateGradleAndroidProject Unity是一款流行的跨平臺游戲引擎，它支持多種平臺，包括Android。在Unity中，我們可以使用IPostGenerateGradleAndroidProject介面來自定義Gradle構建過程。本文將介紹如何 ...
  • Unity的IGenerateNativePluginsForAssemblies：深入解析與實用案例
    # Unity IGenerateNativePluginsForAssemblies Unity是一款非常流行的游戲引擎，它支持多種平臺，包括Windows、Mac、Linux、Android、iOS等。在Unity中，我們可以使用C#編寫游邏輯，但是有些時候我們需要使用一些原生的代碼來實現一些高 ...
  • Unity的IActiveBuildTargetChanged：深入解析與實用案例
    # Unity IActiveBuildTargetChanged Unity IActiveBuildTargetChanged是Unity引擎中的一個非常有用的功能，它可以讓開發者在切換構建平臺時自定義哪些操作需要被執行。這個功能可以幫助開發者更好地控制項目的構建過程，確保在切換構建平臺時執行必 ...
  • WPF入門教程系列二十六——DataGrid使用示例(3)
    # Unity IPostBuildPlayerScriptDLLs Unity IPostBuildPlayerScriptDLLs是Unity引擎中的一個非常有用的功能，它可以讓開發者在構建項目後自定義哪些文件需要被覆制到輸出目錄中。這個功能可以幫助開發者更好地控制項目的構建過程，確保輸出目錄只 ...
  • 一分鐘學一個 Linux 命令 - ls
    大家好，我是 god23bin。今天我給大家帶來的是 Linux 命令系列，每天只需一分鐘，記住一個 Linux 命令不成問題。今天，我們要介紹的是一個常用而又強大的命令：ls（list）。 ...
  • 除了運行、休眠…進程居然還有僵屍、孤兒狀態
    摘要：本章我們將認識幾種進程狀態——運行狀態、休眠狀態、暫停狀態、退出狀態等。還要介紹兩種具有慘烈身世的僵屍進程與孤兒進程~ 本文分享自華為雲社區《僵屍進程？孤兒進程？為什麼他有如此慘烈的身世...》，作者： 花想雲 。 認識進程狀態 Linux中進程狀態一般有： R（運行狀態）：並不意外著真正的在 ...
  • Linux工作原理2常用基本命令和目錄層次結構
    **一、什麼是PID** 學過自動控制原理的對PID並不陌生，PID控制是對偏差信號e(t)進行比例、積分和微分運算變換後形成的一種控制規律。PID 演算法的一般形式： ![](https://img2023.cnblogs.com/blog/2776504/202305/2776504-202305 ...
一周排行
    -Advertisement-
    Play Games
  • GoF之工廠模式
    GoF之工廠模式 @目錄GoF之工廠模式每博一文案1. 簡單說明“23種設計模式”1.2 介紹工廠模式的三種形態1.3 簡單工廠模式（靜態工廠模式）1.3.1 簡單工廠模式的優缺點:1.4 工廠方法模式1.4.1 工廠方法模式的優缺點:1.5 抽象工廠模式1.6 抽象工廠模式的優缺點：2. 總結:3 ...
  • dotnet C# 簡單的追加文件夾到 ZipArchive 壓縮文件的方法
    新改進提供的Taurus Rpc 功能，可以簡化微服務間的調用，同時可以不用再手動輸出模塊名稱，或調用路徑，包括負載均衡，這一切，由框架實現並提供了。新的Taurus Rpc 功能，將使得服務間的調用，更加輕鬆、簡約、高效。 ...
  • Elasticsearch 系列（六）- ES數據同步和ES集群
    本章將和大家分享ES的數據同步方案和ES集群相關知識。廢話不多說，下麵我們直接進入主題。 一、ES數據同步 1、數據同步問題 Elasticsearch中的酒店數據來自於mysql資料庫，因此mysql數據發生改變時，Elasticsearch也必須跟著改變，這個就是Elasticsearch與my ...
  • 自動化測試數據生成：Asp.Net Core單元測試利器AutoFixture詳解
    引言 在我們之前的文章中介紹過使用Bogus生成模擬測試數據，今天來講解一下功能更加強大自動生成測試數據的工具的庫"AutoFixture"。 什麼是AutoFixture? AutoFixture 是一個針對 .NET 的開源庫，旨在最大程度地減少單元測試中的“安排（Arrange）”階段，以提高 ...
  • .NET Emit 入門教程：第七部分：實戰項目1：將 DbDataReader 轉實體
    經過前面幾個部分學習，相信學過的同學已經能夠掌握 .NET Emit 這種中間語言，並能使得它來編寫一些應用，以提高程式的性能。隨著 IL 指令篇的結束，本系列也已經接近尾聲，在這接近結束的最後，會提供幾個可供直接使用的示例，以供大伙分析或使用在項目中。 ...
  • Windows下綁定線程到指定的CPU核心
    當從不同來源導入Excel數據時，可能存在重覆的記錄。為了確保數據的準確性，通常需要刪除這些重覆的行。手動查找並刪除可能會非常耗費時間，而通過編程腳本則可以實現在短時間內處理大量數據。本文將提供一個使用C# 快速查找並刪除Excel重覆項的免費解決方案。 以下是實現步驟： 1. 首先安裝免費.NET ...
  • mORMot 1.18 第07章 簡單的讀寫操作
    C++ 異常處理 C++ 異常處理機制允許程式在運行時處理錯誤或意外情況。它提供了捕獲和處理錯誤的一種結構化方式，使程式更加健壯和可靠。 異常處理的基本概念： 異常: 程式在運行時發生的錯誤或意外情況。 拋出異常: 使用 throw 關鍵字將異常傳遞給調用堆棧。 捕獲異常: 使用 try-catch ...
  • mORMot 1.18 第06章 概念
    優秀且經驗豐富的Java開發人員的特征之一是對API的廣泛瞭解，包括JDK和第三方庫。 我花了很多時間來學習API，尤其是在閱讀了Effective Java 3rd Edition之後 ，Joshua Bloch建議在Java 3rd Edition中使用現有的API進行開發，而不是為常見的東西編 ...
  • php 開發規範
    框架 · 使用laravel框架，原因：tp的框架路由和orm沒有laravel好用 · 使用強制路由，方便介面多時，分多版本，分文件夾等操作 介面 · 介面開發註意欄位類型，欄位是int，查詢成功失敗都要返回int（對接java等強類型語言方便） · 查詢介面用GET、其他用POST 代碼 · 所 ...
  • 2024 年 4 月 28 日 周日 晴 熱（1253 字）
    正文 下午找企業的人去鎮上做貸後。 車上聽同事跟那個司機對罵，火星子都快出來了。司機跟那同事更熟一些，連我在內一共就三個人，同事那一手指桑罵槐給我都聽愣了。司機也是老社會人了，馬上聽出來了，為那個無辜的企業經辦人辯護，實際上是為自己辯護。 “這個事情你不能怪企業。”“但他們總不能讓銀行的人全權負責， ...
所有分類