Flink中邏輯計劃和物理計劃的概念劃分和對應關係

来源:https://www.cnblogs.com/JaxYoun/archive/2020/02/20/12336990.html
-Advertisement-
Play Games

邏輯計劃 1. logicGraph或者jobGraph,其端點為operator,edge為數據流向。 2. operator往往代表一個函數。 3. 同一個分區內的具有連續上下游關係的函數組成operator chain,一個operator chain內的數據來流動過程中不會出現序列化和分區間 ...


邏輯計劃

  1. logicGraph或者jobGraph,其端點為operator,edge為數據流向。
  2. operator往往代表一個函數。
  3. 同一個分區內的具有連續上下游關係的函數組成operator-chain,一個operator-chain內的數據來流動過程中不會出現序列化和分區間的網路通信。

    物理計劃

  4. physicalGraph是邏輯執行計劃為並行執行而翻譯的結果,其端點為task,edge為數據流向及數據分區。
  5. 一個task描述了一個operator或者operator-chain在分散式環境下對應的執行實例,是最小的調度單元。
  6. 一個sub-task是處理分區數據的task在分散式環境下的一個分身。
  7. 一個slot一時間只能執行一個sub-task(業務上一個slot一時間只能處理一條消息)。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 傳統存儲器的技術局限以及不斷縮小的製造尺寸所帶來的巨大挑戰促使科研人員開始尋找新一代存儲器件,它應具有接近靜態存儲器的納秒級讀寫速度,具有動態存儲器甚至快閃記憶體級別的集成密度和類似Flash的非易失性存儲特性。 “萬能存儲器”概念作為新一代存儲器的要求被提出來。自旋轉移矩—磁隨機存儲器器件(Spin T ...
  • 處理器與寄存器 處理器部件的簡單示意 用戶程式可見寄存器 可以使程式員減少訪問主存儲器的次數,提高指令執行的效率,所有程式可使用,包括應用程式和系統程式 + 數據寄存器:又稱通用寄存器 + 地址寄存器:索引、棧指針、段地址等寄存器 控制與狀態寄存器 用於控制處理器的操作;主要被具有特權的操作系統程式 ...
  • 前面系列文章講解了VI編輯器、常用命令、防火牆及網路服務管理,本篇將講解磁碟管理相關知識。 ...
  • ping命令 發送ICMP協議的echo request給目標主機 常用選項: 從指定的本機介面發送ICMP: I INTERFACE 本機有多個介面(網卡),可以選擇從哪個介面發: I(大寫i) 介面enp0s3是本地內網ip;介面enp0s8是nat的ip地址,enp0s8是可以訪問外網的,en ...
  • 操作系統控制電腦 電腦系統操作方式 OS規定了合理操作電腦的工作流程,OS的操作介面——系統程式,OS提供給用戶的功能級介面,為用戶提供的解決操作電腦和計算共性問題的所有服務的集合,OS的兩類作業級介面:離線作業控制方式,作業控制語言;聯機作業控制方式,操作控制命令 離線作業控制方式 + O ...
  • linux上的進程查看及管理工具: pstree,ps,pidof,pgrep,top,htop,glances,pmap,vmstat,dstat,kill,pkill,job,bg,fg,nohup,nice,renice,killall。。。 linux開機時,會啟動第一個進程,由這個進程去啟 ...
  • 1. 使用Navicat工具,優先將整個資料庫的表和數據導出。 2. 如果遇到 文件損壞 錯誤可以在 表實例界面 選中所有表,然後將表轉儲為SQL文件(結構和數據)。 3. 在目標資料庫執行導出的SQL文件,導入數據和結構。 4. 如果個別表因為各種原因(比如使用federated引擎建立了DB L ...
  • 1、KeyBy 操作後,只有當 Key 的數量大於運算元的併發實例數才能獲得較好的計算性能。 A.而若Key 的數量比實例數量少,就會導致部分實例收不到數據,這些實例就得不到執行,這些實例的計算能力得不到充分發揮。 ~~B.當Key個數多餘並行實例數時,由於同一個 Key 對應的所有數據都能發送到同一 ...
一周排行
    -Advertisement-
    Play Games
  • .Net8.0 Blazor Hybird 桌面端 (WPF/Winform) 實測可以完整運行在 win7sp1/win10/win11. 如果用其他工具打包,還可以運行在mac/linux下, 傳送門BlazorHybrid 發佈為無依賴包方式 安裝 WebView2Runtime 1.57 M ...
  • 目錄前言PostgreSql安裝測試額外Nuget安裝Person.cs模擬運行Navicate連postgresql解決方案Garnet為什麼要選擇Garnet而不是RedisRedis不再開源Windows版的Redis是由微軟維護的Windows Redis版本老舊,後續可能不再更新Garne ...
  • C#TMS系統代碼-聯表報表學習 領導被裁了之後很快就有人上任了,幾乎是無縫銜接,很難讓我不想到這早就決定好了。我的職責沒有任何變化。感受下來這個系統封裝程度很高,我只要會調用方法就行。這個系統交付之後不會有太多問題,更多應該是做小需求,有大的開發任務應該也是第二期的事,嗯?怎麼感覺我變成運維了?而 ...
  • 我在隨筆《EAV模型(實體-屬性-值)的設計和低代碼的處理方案(1)》中介紹了一些基本的EAV模型設計知識和基於Winform場景下低代碼(或者說無代碼)的一些實現思路,在本篇隨筆中,我們來分析一下這種針對通用業務,且只需定義就能構建業務模塊存儲和界面的解決方案,其中的數據查詢處理的操作。 ...
  • 對某個遠程伺服器啟用和設置NTP服務(Windows系統) 打開註冊表 HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\W32Time\TimeProviders\NtpServer 將 Enabled 的值設置為 1,這將啟用NTP伺服器功 ...
  • title: Django信號與擴展:深入理解與實踐 date: 2024/5/15 22:40:52 updated: 2024/5/15 22:40:52 categories: 後端開發 tags: Django 信號 松耦合 觀察者 擴展 安全 性能 第一部分:Django信號基礎 Djan ...
  • 使用xadmin2遇到的問題&解決 環境配置: 使用的模塊版本: 關聯的包 Django 3.2.15 mysqlclient 2.2.4 xadmin 2.0.1 django-crispy-forms >= 1.6.0 django-import-export >= 0.5.1 django-r ...
  • 今天我打算整點兒不一樣的內容,通過之前學習的TransformerMap和LazyMap鏈,想搞點不一樣的,所以我關註了另外一條鏈DefaultedMap鏈,主要調用鏈為: 調用鏈詳細描述: ObjectInputStream.readObject() DefaultedMap.readObject ...
  • 後端應用級開發者該如何擁抱 AI GC?就是在這樣的一個大的浪潮下,我們的傳統的應用級開發者。我們該如何選擇職業或者是如何去快速轉型,跟上這樣的一個行業的一個浪潮? 0 AI金字塔模型 越往上它的整個難度就是職業機會也好,或者說是整個的這個運作也好,它的難度會越大,然後越往下機會就會越多,所以這是一 ...
  • @Autowired是Spring框架提供的註解,@Resource是Java EE 5規範提供的註解。 @Autowired預設按照類型自動裝配,而@Resource預設按照名稱自動裝配。 @Autowired支持@Qualifier註解來指定裝配哪一個具有相同類型的bean,而@Resourc... ...