雲原生場景下實現編譯加速

来源:https://www.cnblogs.com/Jcloud/archive/2023/02/02/17085548.html
-Advertisement-
Play Games

雲原生下的流水線是通過啟動容器來運行具體的功能步驟,每次運行流水線可能會被調度到不同的計算節點上。這會導致一個問題:容器運行完是不會保存數據的,每當流水線重新運行時,又會重新拉取代碼、編譯代碼、下載依賴包等等。在雲原生場景下,不存在本地宿主機編譯代碼、構建鏡像時緩存的作用,大大延長了流水線運行時間,... ...


作者:京東零售 王雷

背景

雲原生下的流水線是通過啟動容器來運行具體的功能步驟,每次運行流水線可能會被調度到不同的計算節點上。這會導致一個問題:容器運行完是不會保存數據的,每當流水線重新運行時,又會重新拉取代碼、編譯代碼、下載依賴包等等。在雲原生場景下,不存在本地宿主機編譯代碼、構建鏡像時緩存的作用,大大延長了流水線運行時間,浪費很多不必要的時間、網路和計算成本。

在許多流水線場景中,同一條流水線的多次執行之間是有關聯的。如果能夠用到上一次的執行結果,則可以大幅縮短執行時間。為了提高用戶使用流水線的體驗,我們加入支持緩存的功能,掛接遠程儲存管理構建緩存,可以實現同一個項目的編譯依賴復用,在同一條流水線的多次運行中,共用同一份緩存。

目標

通過實現雲原生流水線的緩存技術,實現代碼編譯的緩存復用,平均加速流水線3~5倍;

實現方案

我們將需要進行緩存的文件,使用zstd的方式進行壓縮,通過遠程掛載cfs,將構建的緩存持久化到cfs上的指定位置。當下一次構建開始的時候,判斷緩存是否被命中,如果命中緩存,我們從cfs上的指定位置pull對應的緩存壓縮包,解壓到相應目錄下。

所用工具-cfs+zstd

非用戶自定義鏡像,將需要的工具打到引擎的基礎鏡像中,作為所有鏡像的基礎工具。

用戶自定義鏡像,不和用戶鏡像進行強綁定,如果需要使用緩存功能,可以使用Restore緩存原子和Save緩存原子,設置緩存key和緩存目錄,實現緩存功能。

1 cfs遠程掛載

•將工具和啟動腳本,配置文件打到基礎鏡像

•在開啟緩存的位置,啟動腳本,開始掛載cfs

_, err = c.ScriptAction.Sh([]string{
    "sh",
	"-c",
	"modprobe fuse;cd /export/servers/tools/cfs;sudo ./cfs-client-randomwrite -c fuse.json",
})

2 zstd壓縮

針對現有的幾種壓縮方式進行了性能對比,最後選用了zstd進行壓縮。

Zstd,全稱 Zstandard,是 Facebook 於 2016 年開源的新無損壓縮演算法。Zstd 還可以以壓縮速度為代價提供更強的壓縮比,速度與壓縮率的比重可通過增量進行配置。與 zlib、lz4、xz 等當前流行的壓縮演算法不同,Zstd 尋求一種壓縮性能與壓縮率通吃的方案,而實際上它也確實做到了。在由官方所列出的表格中,可以看到,Zstd 不僅具備優秀的壓縮性能,在壓縮率上也有非常亮眼的表現。在過去的兩年裡,Linux內核、HTTP協議、以及一系列的大數據工具(包括Hadoop 3.0.0,HBase 2.0.0,Spark 2.3.0,Kafka 2.1.0)等都已經加入了對zstd的支持。

常見的壓縮演算法性能對比:

1.png

壓縮包大小對比:

依賴包的大小 465M 壓縮效率
tar壓縮 423M 14s左右
zstd壓縮 205M 1s左右

緩存的實現

我們借鑒了github cache action,zadig,gitlab等緩存的處理方式,同時結合服務自身的特點

將整體分成三步

•檢查是否命中緩存:根據緩存key,判斷緩存是否命中

緩存key 緩存的唯一標識
不同語言編譯原子 根據下載代碼的代碼庫地址自動獲取 設置的緩存key:home_auth/home-auth-center
用戶自定義鏡像 自定義緩存key

•pull緩存

當緩存命中後,根據緩存路徑,找到掛載到cfs上的緩存壓縮包,解壓到指定的緩存目錄下

•push緩存:將依賴包進行壓縮,放到cfs的掛載目錄下

2.png

依賴包的大小 465M
tar壓縮 423M
zstd壓縮 205M

3.png

緩存的使用限制和回收策略

使用限制

目前存儲緩存數沒有限制,存儲庫中所有緩存的總大小限制是根據申請的cfs的大小限制:20G。

回收策略

我們會刪除7天內未被訪問的任何緩存。利用etcd的watch機制,實現緩存的回收。

etcd可以Watch 指定的鍵、首碼目錄的更改,並對更改時間進行通知。BASE引擎中,緩存的清除策略藉助etcd來實現。

緩存過期策略:在編譯加速的實現中,每個需要緩存的項目都有對應的緩存key,通過etcd監控key,並且設置過期時間,例如7天,如果在7天之內再次命中key,則通過lease進行續約;7天之內key都沒有被使用,key就會過期刪除,通過監聽對應的首碼,在過期刪除的時候,調用刪除緩存的方法。

storage.Watch("cache/",
		func(id string) {
			//do nothing
		},
		func(id string) {
			CleanCache(id)
		})

不同技術棧的最佳實踐

1 Java

以Maven構建工具為例,其預設配置文件位於conf/settings.xml文件中,預設指定環境變數$M2_HOME來設置緩存目錄,這樣同一條流水線多次執行可以復用 ${M2_HOME}/.m2 目錄 (緩存目錄),甚至同一個應用下的多個分支之間都可以使用同一個緩存目錄,就像本地構建一樣。

BASE執行
無緩存 平均時間:5.26min
有緩存 平均時間:41.462s
提升效率 提升87.3%
緩存命中率 接近100%

2 NodeJs

在nodejs編譯中,我們的緩存目錄是當前用戶空間,針對node_modules文件進行壓縮打包,push到cfs;如果緩存命中,從cfs上pull並且解壓到當前用戶空間下,恢復緩存。

使用舉例

BASE執行
無緩存 平均時間:58s
有緩存 平均時間:29s
提升效率 提升50%
緩存命中率 接近100%

3 Golang編譯

Golang 緩存路徑通過$GOCACHE環境變數控制,將$GOCACHE的內容壓縮成zstd的包,上傳到cfs的指定路徑下。pull緩存的時候,拉取到對應的$GOCACHE。

BASE執行
無緩存 平均時間:117s
有緩存 平均時間:18s
提升效率 提升84.6%
緩存命中率 接近100%

4 GCC編譯

我們使用ccache進行緩存實現。ccache(“compilercache”的縮寫)是一個編譯器緩存,該工具會高速緩存編譯生成的信息,併在編譯的特定部分使用高速緩存的信息。ccache的緩存目錄:CCACHE_DIR,我們將這個目錄下的文件進行壓縮,push到cfs,當第二次運行並且命中緩存,從cfs上pull並解壓到CCACHE_DIR指定的目錄下。

總結

在不同語言的編譯原子內部,預設開啟緩存的設置。第一次運行流水線的時候,會進行依賴的下載,第二次運行流水線,會命中緩存,無需進行依賴的下載,提高了流水線執行的效率。緩存預設保存7天。

自定義鏡像進行緩存的最佳實踐

為了滿足用戶使用自定義鏡像的方式觸發流水線,我們增加了兩個通用的緩存原子。

Restore緩存:恢復緩存

Save緩存:保存緩存

4.png

在編譯之前,添加Restore緩存原子

5.png

在編譯之後,添加Save緩存原子

6.png

使用舉例

在maven編譯原子中,預設開啟了maven編譯的緩存;同時還有nodejs的編譯構建,所以我們增加了restore原子和save原子

7.png

BASE執行
無緩存 平均時間:21min57s 其中maven: 17min83s nodejs: 4min19s
有緩存 平均時間:4min20s 其中maven: 1min10s nodejs: 2min36s
緩存效率提升 maven: 93.7% nodejs:39.8%(nodejs編譯中有包含單元測試)
緩存命中率 接近100%

未來規劃

•不同編譯原子,向用戶開放配置,如是否開啟緩存,設置緩存key

•實現不同語言編譯原子增量push緩存功能


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 題目描述 給定一個 n 個元素有序的(升序)整型數組 nums 和一個目標值 target ,寫一個函數搜索 nums 中的 target,如果目標值存在返回下標,否則返回 -1。 來源:力扣(LeetCode) 鏈接:https://leetcode.cn/problems/binary-sear ...
  • 第一種:for in girl_dict= {"China": "小美", "Japan": "圖多天光", "Korea": "斯密達美"} for everyKey in girl_dict: print ("key:" + everyKey + "value:" + girl_dict[eve ...
  • Word文檔屬性包括常規、摘要、統計、內容、自定義。其中摘要包括標題、主題、作者、經理、單位、類別、關鍵詞、備註等項目。屬性相當於文檔的名片,可以添加你想要的註釋、說明等。還可以標註版權。 今天就為大家介紹一下,如何通過Java代碼向Word文檔添加文檔屬性。詳情請閱讀以下內容。 將內置文檔屬性添加 ...
  • 顧名思義單調棧就是具有單調性的棧 ==常見模型:找出每個數左邊離它最近的比它大/小的數== 【演算法】 int stk[N],tt = 0; // 棧中存數據 for (int i = 1; i <= n; i ++){ int x; cin >> x; while (tt && stk[tt] >= ...
  • 雙重檢查鎖定與延遲初始化 在 java 程式中,有時候可能需要推遲一些高開銷的對象初始化操作,並且只有在使用這些對象時才進行初始化。此時程式員可能會採用延遲初始化。但要正確實現線程安全的延遲初始化需要一些技巧,否則很容易出現問題。比如,下麵是非線程安全的延遲初始化對象的示例代碼: COPYpubli ...
  • 1. 服務監控三要素^1 服務監控需要滿足的三要素分別如下: 日誌監控 指標監控 請求鏈路追蹤 服務監控只要能滿足這三個要素,基本就能實現我們想要的監控效果。 1.1.主流APM系統^1 APM 系統(Application Performance Management,即應用性能管理)是對企業的應 ...
  • 基礎 我是在ruoyi-vue已經安裝了mybatis-plus的基礎上進行的修改 關於SQLite SQLite 是一個軟體庫,實現了自給自足的、無伺服器的、零配置的、事務性的 SQL 資料庫引擎。 SQLite主頁:https://www.sqlite.org/index.html 1. pom ...
  • 本文介紹基於Python語言中TensorFlow的tf.estimator介面,實現深度學習神經網路回歸的具體方法。 () 1 寫在前面 1. 本文介紹的是基於TensorFlow tf.estimator介面的深度學習網路,而非TensorFlow 2.0中常用的Keras介面;關於Keras接 ...
一周排行
    -Advertisement-
    Play Games
  • 在C#中使用SQL Server實現事務的ACID(原子性、一致性、隔離性、持久性)屬性和使用資料庫鎖(悲觀鎖和樂觀鎖)時,你可以通過ADO.NET的SqlConnection和SqlTransaction類來實現。下麵是一些示例和概念說明。 實現ACID事務 ACID屬性是事務處理的四個基本特征, ...
  • 我們在《SqlSugar開發框架》中,Winform界面開發部分往往也用到了自定義的用戶控制項,對應一些特殊的界面或者常用到的一些局部界面內容,我們可以使用自定義的用戶控制項來提高界面的統一性,同時也增強了使用的便利性。如我們Winform界面中用到的分頁控制項、附件顯示內容、以及一些公司、部門、菜單的下... ...
  • 在本篇教程中,我們學習瞭如何在 Taurus.MVC WebMVC 中進行數據綁定操作。我們還學習瞭如何使用 ${屬性名稱} CMS 語法來綁定頁面上的元素與 Model 中的屬性。通過這些步驟,我們成功實現了一個簡單的數據綁定示例。 ...
  • 是在MVVM中用來傳遞消息的一種方式。它是在MVVMLight框架中提供的一個實現了IMessenger介面的類,可以用來在ViewModel之間、ViewModel和View之間傳遞消息。 Send 接受一個泛型參數,表示要發送的消息內容。 Register 方法用於註冊某個對象接收消息。 pub ...
  • 概述:在WPF中,通過EventHandler可實現基礎和高級的UI更新方式。基礎用法涉及在類中定義事件,併在UI中訂閱以執行更新操作。高級用法藉助Dispatcher類,確保在非UI線程上執行操作後,通過UI線程更新界面。這兩種方法提供了靈活而可靠的UI更新機制。 在WPF(Windows Pre ...
  • 概述:本文介紹了在C#程式開發中如何利用自定義擴展方法測量代碼執行時間。通過使用簡單的Action委托,開發者可以輕鬆獲取代碼塊的執行時間,幫助優化性能、驗證演算法效率以及監控系統性能。這種通用方法提供了一種便捷而有效的方式,有助於提高開發效率和代碼質量。 在軟體開發中,瞭解代碼執行時間是優化程式性能 ...
  • 概述:Cron表達式是一種強大的定時任務調度工具,通過配置不同欄位實現靈活的時間規定。在.NET中,Quartz庫提供了簡便的方式配置Cron表達式,實現精準的定時任務調度。這種靈活性和可擴展性使得開發者能夠根據需求輕鬆地制定和管理定時任務,例如每天備份系統日誌或其他重要操作。 Cron表達式詳解 ...
  • 概述:.NET提供多種定時器,如System.Windows.Forms.Timer適用於UI,System.Web.UI.Timer用於Web,System.Diagnostics.Timer用於性能監控,System.Threading.Timer和System.Timers.Timer用於一般 ...
  • 問題背景 有同事聯繫我說,在生產環境上,訪問不了我負責的common服務,然後我去檢查common服務的health endpoint, 沒問題,然後我問了下異常,timeout導致的System.OperationCanceledException。那大概率是客戶端的問題,會不會是埠耗盡,用ne ...
  • 前言: 在本篇 Taurus.MVC WebMVC 入門開發教程的第四篇文章中, 我們將學習如何實現數據列表的綁定,通過使用 List<Model> 來展示多個數據項。 我們將繼續使用 Taurus.Mvc 命名空間,同時探討如何在視圖中綁定並顯示一個 Model 列表。 步驟1:創建 Model ...