一看就懂!任務提交的資源判斷在Taier中的實踐

来源:https://www.cnblogs.com/DTinsight/archive/2023/02/01/17081797.html
-Advertisement-
Play Games

Taier 介紹 Taier 是袋鼠雲開源項目之一,是一個分散式可視化的DAG任務調度系統。 旨在降低ETL開發成本、提高大數據平臺穩定性,大數據開發人員可以在 Taier 直接進行業務邏輯的開發,而不用關心任務錯綜複雜的依賴關係與底層的大數據平臺的架構實現,將工作的重心更多地聚焦在業務之中。 項目 ...


Taier 介紹

Taier 是袋鼠雲開源項目之一,是一個分散式可視化的DAG任務調度系統

旨在降低ETL開發成本、提高大數據平臺穩定性,大數據開發人員可以在 Taier 直接進行業務邏輯的開發,而不用關心任務錯綜複雜的依賴關係與底層的大數據平臺的架構實現,將工作的重心更多地聚焦在業務之中。

項目地址:https://github.com/DTStack/Taier

file

Taier 資源判斷

Taier 基於插件式架構設計,用戶在界面開發任務並提交運行。提交運行插件又劃分為worker-plugins、datasource-plugins雙插件類型。

在任務提交的時候,Taier需要判斷是否有足夠的資源來執行,否則一股腦地提交任務,最終會拖垮環境,導致服務的不可用。根據環境資源的剩餘情況來動態調整提交任務的速率是Taier必不可少的一項功能,那麼Taier究竟是怎麼來判斷資源的呢?

什麼是資源?

對一個系統而言,首先要定義出資源的種類,然後將每種資源量化,才能進行管理,這就是資源抽象的過程。那麼,想回答上文中「Taier是如何判斷資源」的這個問題,就需要先理清楚,在一個分散式、多環境的系統中,什麼是資源,又為什麼要有“資源”這個概念?

我們通常所說的“資源”都是硬體資源,包括CPU使用/記憶體使用/磁碟用量/IO/網路流量等等,這是比較粗粒度的。也可以是抽象層次更高的TPS/請求數之類的。

資源可以用來衡量系統的瓶頸。系統能否充分利用資源,什麼時候可以持續提交任務,什麼時候需要暫停提交任務,比如當總體資源充裕時,可以把對應的任務全部提交上去。

● 以Yarn框架介紹為例

file

ResourceManager 是一個全局的資源管理器,負責整個系統的資源管理和分配,包括 scheduler 、Application Manager和 Node Manager。

對調度器來說,YARN 提供了多種直接可用的調度器, Fair Scheduler 和 Capacity Scheduler 等。調度器僅根據各個應用程式的資源需求進行資源分配,分配的基本單位是Container,而容器裡面是將記憶體、CPU、網路、磁碟封裝到一起。

在Yarn的web 界面,我們可以直觀的看到當前Yarn集群剩餘的記憶體、CPU核數、運行的Container數量。對提交到yarn上的任務來說,資源就是:記憶體、CPU、磁碟等可用信息

file

所以在提交到Yarn上執行的任務,我們可以根據ResourceManager 獲取Yarn集群當前剩餘的記憶體、CPU核數來進行判斷,任務能否滿足提交條件等規則。其中,最基本的規則就是:

• Yarn集群剩餘的記憶體 >= 當前任務所需的記憶體

• Yarn集群剩餘的CPU核數 >= 當前任務所需的CPU核數

何時去判斷資源?

任務在界面開發完成之後,點擊運行的按鈕,開始從等待提交的狀態切換。在提交運行的時候,任務組裝好集群配置信息進入下一個階段——資源判斷

在這個階段開始判斷資源是否滿足任務提交。如果任務滿足則進行提交,如果任務不滿足,則定時、延時、重試直到資源滿足任務執行條件。

file

怎樣去判斷資源?

在worker-plugins提交的抽象類中,有一個通用的方法judgeSlots 去判斷資源。

judgeSlots 的判斷結果分為以下四種:

• OK: 資源判斷滿足,任務可以提交

• NOT_OK: 不滿足任務所需資源,需要延時重試

• LIMIT_ERROR: 任務參數設置錯誤: CPU核數或記憶體為0等場景

• EXCEPTION: 任務資源判斷異常: ResourceManager連接異常等場景

file

● 以Spark任務為例

下文我們以Spark任務為例,看看Spark的提交插件是如何獲取對應的ResourceManager信息併進行資源判斷的。

file

可以看到根據Yarn集群信息獲取了以下信息:

• 根據Yarn集群信息初始化YarnClient

• 獲取Yarn集群隊列下的ACCEPTED狀態任務,是否大於控制台yarnAccepterTaskNumber 參數設置

• 獲取Yarn集群隊列的剩餘CPU核數和記憶體信息

file

然後根據JobClient所攜帶的任務參數信息,獲取了Driver、Executor 的相關記憶體和CPU信息併進行計算。

file

最後將獲取到的Yarn集群信息和任務所需的資源信息按照固定規則進行比對,返回對應的資源判斷結果。資源判斷的結果將會實時在 Taier 的界面上展示,所以在任務處於等待提交狀態的時候,可以去控制台->隊列,管理並查看該任務資源判斷信息

file

Taier 未來規劃

展望未來,為進一步提升Taier的使用場景,同時也為了減少Hadoop生態在Taier中的依賴,Taier後續會擴展更多的任務類型。除了支持對接Hadoop集群外,Taier也會陸續支持相關類型的local模式運行,完善更多的場景使用。

Taier團隊非常期待得到每一個人的反饋,能夠和其他優秀開發者共同合作,進一步推動Taier的技術發展。

如果您對Taier有興趣,希望可以參與到我們的建設中來,一起交流,一起進步,為 Taier變得更好貢獻一點你的代碼和意見,這將是我們,同時也是 Taier莫大的榮幸。

想瞭解或咨詢更多有關袋鼠雲大數據產品、行業解決方案、客戶案例的朋友,瀏覽袋鼠雲官網:https://www.dtstack.com/?src=szbky

同時,歡迎對大數據開源項目有興趣的同學加入「袋鼠雲開源框架釘釘技術qun」,交流最新開源技術信息,qun號碼:30537511,項目地址:https://github.com/DTStack


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 摘要:AQS 的全稱為(AbstractQueuedSynchronizer),AQS 是一個用來構建鎖和同步器的框架,使用 AQS 能簡單且高效地構造出應用廣泛的大量的同步器。 本文分享自華為雲社區《【高併發】AQS中的CountDownLatch、Semaphore與CyclicBarrier核 ...
  • 題目背景(題目鏈接) 題目描述 給定一個N*M方格的迷宮,迷宮裡有T處障礙,障礙處不可通過。 在迷宮中移動有上下左右四種方式,每次只能移動一個方格。數據保證起點上沒有障礙。 給定起點坐標和終點坐標,每個方格最多經過一次,問有多少種從起點坐標到終點坐標的方案。 輸入格式 第一行為三個正整數 N,M,T ...
  • 當我們在製作PDF文件或者PPT演示文稿的時候,為了讓自己的文件更全面詳細,就會在文件中添加附件。並且將相關文檔附加到 PDF 可以方便文檔的集中管理和傳輸。那麼如何添加或刪除 PDF 中的附件呢?別擔心,我們可以通過編程方式輕鬆實現此操作。下麵是我整理的具體步驟,並附上Java代碼供大家參考。 文 ...
  • Java實現BP神經網路,內含BP神經網路類,採用MNIST數據集,包含伺服器和客戶端程式,可在伺服器訓練後使客戶端直接使用訓練結果,界面有畫板,可以手寫數字 ...
  • 一 引入 考慮實現一種三軸機器人控制項。 三軸機器人用來將某種工件從一個位置運送到另一個位置。 其X軸為手臂軸,可以正向和反向運動,它處於末端,直接接觸工件; 其T軸為旋轉軸,可以對手臂進行旋轉; 其Z軸為升降軸,可以對手臂和旋轉部分進行升降。 二 RobotControl 定義出機器人的軸動作枚舉, ...
  • 前言 相信大家看過不少講C# async await的文章,博客園就能搜到很多,但還是有很多C#程式員不明白。 如果搞不明白,其實也不影響使用。但有人就會疑惑,為什麼要用非同步?我感覺它更慢了,跟同步有啥區別? 有的人研究深入,比如去研究狀態機,可能會明白其中的原理。但深入研究的畢竟少數。有的人寫一些 ...
  • 疑惑 最近在反覆搭建ceph集群過程中,總是遇到osd創建不成功的問題,疑似硬碟殘留信息,排查中引出了很多陌生的命令,比如vgremove等,於是打算重新瞭解這部分。 LVM是什麼? 邏輯捲管理器(LVM,Logical Volume Manager)是一種把硬碟空間分配成邏輯捲的方法。 看到定義可 ...
  • Windows server 2016 搭建DNS伺服器 環境說明: 1、Windows server 2016標準版 實操步驟: 1、添加DNS伺服器功能 1.1、點擊win圖標打開菜單,點擊打開伺服器管理器。 1.2、點擊“ 管理 ”,點擊“ 添加角色和功能 ” 下一步 基於角色或功能的安裝,下 ...
一周排行
    -Advertisement-
    Play Games
  • 在C#中使用SQL Server實現事務的ACID(原子性、一致性、隔離性、持久性)屬性和使用資料庫鎖(悲觀鎖和樂觀鎖)時,你可以通過ADO.NET的SqlConnection和SqlTransaction類來實現。下麵是一些示例和概念說明。 實現ACID事務 ACID屬性是事務處理的四個基本特征, ...
  • 我們在《SqlSugar開發框架》中,Winform界面開發部分往往也用到了自定義的用戶控制項,對應一些特殊的界面或者常用到的一些局部界面內容,我們可以使用自定義的用戶控制項來提高界面的統一性,同時也增強了使用的便利性。如我們Winform界面中用到的分頁控制項、附件顯示內容、以及一些公司、部門、菜單的下... ...
  • 在本篇教程中,我們學習瞭如何在 Taurus.MVC WebMVC 中進行數據綁定操作。我們還學習瞭如何使用 ${屬性名稱} CMS 語法來綁定頁面上的元素與 Model 中的屬性。通過這些步驟,我們成功實現了一個簡單的數據綁定示例。 ...
  • 是在MVVM中用來傳遞消息的一種方式。它是在MVVMLight框架中提供的一個實現了IMessenger介面的類,可以用來在ViewModel之間、ViewModel和View之間傳遞消息。 Send 接受一個泛型參數,表示要發送的消息內容。 Register 方法用於註冊某個對象接收消息。 pub ...
  • 概述:在WPF中,通過EventHandler可實現基礎和高級的UI更新方式。基礎用法涉及在類中定義事件,併在UI中訂閱以執行更新操作。高級用法藉助Dispatcher類,確保在非UI線程上執行操作後,通過UI線程更新界面。這兩種方法提供了靈活而可靠的UI更新機制。 在WPF(Windows Pre ...
  • 概述:本文介紹了在C#程式開發中如何利用自定義擴展方法測量代碼執行時間。通過使用簡單的Action委托,開發者可以輕鬆獲取代碼塊的執行時間,幫助優化性能、驗證演算法效率以及監控系統性能。這種通用方法提供了一種便捷而有效的方式,有助於提高開發效率和代碼質量。 在軟體開發中,瞭解代碼執行時間是優化程式性能 ...
  • 概述:Cron表達式是一種強大的定時任務調度工具,通過配置不同欄位實現靈活的時間規定。在.NET中,Quartz庫提供了簡便的方式配置Cron表達式,實現精準的定時任務調度。這種靈活性和可擴展性使得開發者能夠根據需求輕鬆地制定和管理定時任務,例如每天備份系統日誌或其他重要操作。 Cron表達式詳解 ...
  • 概述:.NET提供多種定時器,如System.Windows.Forms.Timer適用於UI,System.Web.UI.Timer用於Web,System.Diagnostics.Timer用於性能監控,System.Threading.Timer和System.Timers.Timer用於一般 ...
  • 問題背景 有同事聯繫我說,在生產環境上,訪問不了我負責的common服務,然後我去檢查common服務的health endpoint, 沒問題,然後我問了下異常,timeout導致的System.OperationCanceledException。那大概率是客戶端的問題,會不會是埠耗盡,用ne ...
  • 前言: 在本篇 Taurus.MVC WebMVC 入門開發教程的第四篇文章中, 我們將學習如何實現數據列表的綁定,通過使用 List<Model> 來展示多個數據項。 我們將繼續使用 Taurus.Mvc 命名空間,同時探討如何在視圖中綁定並顯示一個 Model 列表。 步驟1:創建 Model ...