雲原生場景下實現編譯加速

来源:https://www.cnblogs.com/Jcloud/archive/2023/02/02/17085548.html
-Advertisement-
Play Games

雲原生下的流水線是通過啟動容器來運行具體的功能步驟,每次運行流水線可能會被調度到不同的計算節點上。這會導致一個問題:容器運行完是不會保存數據的,每當流水線重新運行時,又會重新拉取代碼、編譯代碼、下載依賴包等等。在雲原生場景下,不存在本地宿主機編譯代碼、構建鏡像時緩存的作用,大大延長了流水線運行時間,... ...


作者:京東零售 王雷

背景

雲原生下的流水線是通過啟動容器來運行具體的功能步驟,每次運行流水線可能會被調度到不同的計算節點上。這會導致一個問題:容器運行完是不會保存數據的,每當流水線重新運行時,又會重新拉取代碼、編譯代碼、下載依賴包等等。在雲原生場景下,不存在本地宿主機編譯代碼、構建鏡像時緩存的作用,大大延長了流水線運行時間,浪費很多不必要的時間、網路和計算成本。

在許多流水線場景中,同一條流水線的多次執行之間是有關聯的。如果能夠用到上一次的執行結果,則可以大幅縮短執行時間。為了提高用戶使用流水線的體驗,我們加入支持緩存的功能,掛接遠程儲存管理構建緩存,可以實現同一個項目的編譯依賴復用,在同一條流水線的多次運行中,共用同一份緩存。

目標

通過實現雲原生流水線的緩存技術,實現代碼編譯的緩存復用,平均加速流水線3~5倍;

實現方案

我們將需要進行緩存的文件,使用zstd的方式進行壓縮,通過遠程掛載cfs,將構建的緩存持久化到cfs上的指定位置。當下一次構建開始的時候,判斷緩存是否被命中,如果命中緩存,我們從cfs上的指定位置pull對應的緩存壓縮包,解壓到相應目錄下。

所用工具-cfs+zstd

非用戶自定義鏡像,將需要的工具打到引擎的基礎鏡像中,作為所有鏡像的基礎工具。

用戶自定義鏡像,不和用戶鏡像進行強綁定,如果需要使用緩存功能,可以使用Restore緩存原子和Save緩存原子,設置緩存key和緩存目錄,實現緩存功能。

1 cfs遠程掛載

•將工具和啟動腳本,配置文件打到基礎鏡像

•在開啟緩存的位置,啟動腳本,開始掛載cfs

_, err = c.ScriptAction.Sh([]string{
    "sh",
	"-c",
	"modprobe fuse;cd /export/servers/tools/cfs;sudo ./cfs-client-randomwrite -c fuse.json",
})

2 zstd壓縮

針對現有的幾種壓縮方式進行了性能對比,最後選用了zstd進行壓縮。

Zstd,全稱 Zstandard,是 Facebook 於 2016 年開源的新無損壓縮演算法。Zstd 還可以以壓縮速度為代價提供更強的壓縮比,速度與壓縮率的比重可通過增量進行配置。與 zlib、lz4、xz 等當前流行的壓縮演算法不同,Zstd 尋求一種壓縮性能與壓縮率通吃的方案,而實際上它也確實做到了。在由官方所列出的表格中,可以看到,Zstd 不僅具備優秀的壓縮性能,在壓縮率上也有非常亮眼的表現。在過去的兩年裡,Linux內核、HTTP協議、以及一系列的大數據工具(包括Hadoop 3.0.0,HBase 2.0.0,Spark 2.3.0,Kafka 2.1.0)等都已經加入了對zstd的支持。

常見的壓縮演算法性能對比:

1.png

壓縮包大小對比:

依賴包的大小 465M 壓縮效率
tar壓縮 423M 14s左右
zstd壓縮 205M 1s左右

緩存的實現

我們借鑒了github cache action,zadig,gitlab等緩存的處理方式,同時結合服務自身的特點

將整體分成三步

•檢查是否命中緩存:根據緩存key,判斷緩存是否命中

緩存key 緩存的唯一標識
不同語言編譯原子 根據下載代碼的代碼庫地址自動獲取 設置的緩存key:home_auth/home-auth-center
用戶自定義鏡像 自定義緩存key

•pull緩存

當緩存命中後,根據緩存路徑,找到掛載到cfs上的緩存壓縮包,解壓到指定的緩存目錄下

•push緩存:將依賴包進行壓縮,放到cfs的掛載目錄下

2.png

依賴包的大小 465M
tar壓縮 423M
zstd壓縮 205M

3.png

緩存的使用限制和回收策略

使用限制

目前存儲緩存數沒有限制,存儲庫中所有緩存的總大小限制是根據申請的cfs的大小限制:20G。

回收策略

我們會刪除7天內未被訪問的任何緩存。利用etcd的watch機制,實現緩存的回收。

etcd可以Watch 指定的鍵、首碼目錄的更改,並對更改時間進行通知。BASE引擎中,緩存的清除策略藉助etcd來實現。

緩存過期策略:在編譯加速的實現中,每個需要緩存的項目都有對應的緩存key,通過etcd監控key,並且設置過期時間,例如7天,如果在7天之內再次命中key,則通過lease進行續約;7天之內key都沒有被使用,key就會過期刪除,通過監聽對應的首碼,在過期刪除的時候,調用刪除緩存的方法。

storage.Watch("cache/",
		func(id string) {
			//do nothing
		},
		func(id string) {
			CleanCache(id)
		})

不同技術棧的最佳實踐

1 Java

以Maven構建工具為例,其預設配置文件位於conf/settings.xml文件中,預設指定環境變數$M2_HOME來設置緩存目錄,這樣同一條流水線多次執行可以復用 ${M2_HOME}/.m2 目錄 (緩存目錄),甚至同一個應用下的多個分支之間都可以使用同一個緩存目錄,就像本地構建一樣。

BASE執行
無緩存 平均時間:5.26min
有緩存 平均時間:41.462s
提升效率 提升87.3%
緩存命中率 接近100%

2 NodeJs

在nodejs編譯中,我們的緩存目錄是當前用戶空間,針對node_modules文件進行壓縮打包,push到cfs;如果緩存命中,從cfs上pull並且解壓到當前用戶空間下,恢復緩存。

使用舉例

BASE執行
無緩存 平均時間:58s
有緩存 平均時間:29s
提升效率 提升50%
緩存命中率 接近100%

3 Golang編譯

Golang 緩存路徑通過$GOCACHE環境變數控制,將$GOCACHE的內容壓縮成zstd的包,上傳到cfs的指定路徑下。pull緩存的時候,拉取到對應的$GOCACHE。

BASE執行
無緩存 平均時間:117s
有緩存 平均時間:18s
提升效率 提升84.6%
緩存命中率 接近100%

4 GCC編譯

我們使用ccache進行緩存實現。ccache(“compilercache”的縮寫)是一個編譯器緩存,該工具會高速緩存編譯生成的信息,併在編譯的特定部分使用高速緩存的信息。ccache的緩存目錄:CCACHE_DIR,我們將這個目錄下的文件進行壓縮,push到cfs,當第二次運行並且命中緩存,從cfs上pull並解壓到CCACHE_DIR指定的目錄下。

總結

在不同語言的編譯原子內部,預設開啟緩存的設置。第一次運行流水線的時候,會進行依賴的下載,第二次運行流水線,會命中緩存,無需進行依賴的下載,提高了流水線執行的效率。緩存預設保存7天。

自定義鏡像進行緩存的最佳實踐

為了滿足用戶使用自定義鏡像的方式觸發流水線,我們增加了兩個通用的緩存原子。

Restore緩存:恢復緩存

Save緩存:保存緩存

4.png

在編譯之前,添加Restore緩存原子

5.png

在編譯之後,添加Save緩存原子

6.png

使用舉例

在maven編譯原子中,預設開啟了maven編譯的緩存;同時還有nodejs的編譯構建,所以我們增加了restore原子和save原子

7.png

BASE執行
無緩存 平均時間:21min57s 其中maven: 17min83s nodejs: 4min19s
有緩存 平均時間:4min20s 其中maven: 1min10s nodejs: 2min36s
緩存效率提升 maven: 93.7% nodejs:39.8%(nodejs編譯中有包含單元測試)
緩存命中率 接近100%

未來規劃

•不同編譯原子,向用戶開放配置,如是否開啟緩存,設置緩存key

•實現不同語言編譯原子增量push緩存功能


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 題目描述 給定一個 n 個元素有序的(升序)整型數組 nums 和一個目標值 target ,寫一個函數搜索 nums 中的 target,如果目標值存在返回下標,否則返回 -1。 來源:力扣(LeetCode) 鏈接:https://leetcode.cn/problems/binary-sear ...
  • 第一種:for in girl_dict= {"China": "小美", "Japan": "圖多天光", "Korea": "斯密達美"} for everyKey in girl_dict: print ("key:" + everyKey + "value:" + girl_dict[eve ...
  • Word文檔屬性包括常規、摘要、統計、內容、自定義。其中摘要包括標題、主題、作者、經理、單位、類別、關鍵詞、備註等項目。屬性相當於文檔的名片,可以添加你想要的註釋、說明等。還可以標註版權。 今天就為大家介紹一下,如何通過Java代碼向Word文檔添加文檔屬性。詳情請閱讀以下內容。 將內置文檔屬性添加 ...
  • 顧名思義單調棧就是具有單調性的棧 ==常見模型:找出每個數左邊離它最近的比它大/小的數== 【演算法】 int stk[N],tt = 0; // 棧中存數據 for (int i = 1; i <= n; i ++){ int x; cin >> x; while (tt && stk[tt] >= ...
  • 雙重檢查鎖定與延遲初始化 在 java 程式中,有時候可能需要推遲一些高開銷的對象初始化操作,並且只有在使用這些對象時才進行初始化。此時程式員可能會採用延遲初始化。但要正確實現線程安全的延遲初始化需要一些技巧,否則很容易出現問題。比如,下麵是非線程安全的延遲初始化對象的示例代碼: COPYpubli ...
  • 1. 服務監控三要素^1 服務監控需要滿足的三要素分別如下: 日誌監控 指標監控 請求鏈路追蹤 服務監控只要能滿足這三個要素,基本就能實現我們想要的監控效果。 1.1.主流APM系統^1 APM 系統(Application Performance Management,即應用性能管理)是對企業的應 ...
  • 基礎 我是在ruoyi-vue已經安裝了mybatis-plus的基礎上進行的修改 關於SQLite SQLite 是一個軟體庫,實現了自給自足的、無伺服器的、零配置的、事務性的 SQL 資料庫引擎。 SQLite主頁:https://www.sqlite.org/index.html 1. pom ...
  • 本文介紹基於Python語言中TensorFlow的tf.estimator介面,實現深度學習神經網路回歸的具體方法。 () 1 寫在前面 1. 本文介紹的是基於TensorFlow tf.estimator介面的深度學習網路,而非TensorFlow 2.0中常用的Keras介面;關於Keras接 ...
一周排行
    -Advertisement-
    Play Games
  • Timer是什麼 Timer 是一種用於創建定期粒度行為的機制。 與標準的 .NET System.Threading.Timer 類相似,Orleans 的 Timer 允許在一段時間後執行特定的操作,或者在特定的時間間隔內重覆執行操作。 它在分散式系統中具有重要作用,特別是在處理需要周期性執行的 ...
  • 前言 相信很多做WPF開發的小伙伴都遇到過表格類的需求,雖然現有的Grid控制項也能實現,但是使用起來的體驗感並不好,比如要實現一個Excel中的表格效果,估計你能想到的第一個方法就是套Border控制項,用這種方法你需要控制每個Border的邊框,並且在一堆Bordr中找到Grid.Row,Grid. ...
  • .NET C#程式啟動閃退,目錄導致的問題 這是第2次踩這個坑了,很小的編程細節,容易忽略,所以寫個博客,分享給大家。 1.第一次坑:是windows 系統把程式運行成服務,找不到配置文件,原因是以服務運行它的工作目錄是在C:\Windows\System32 2.本次坑:WPF桌面程式通過註冊表設 ...
  • 在分散式系統中,數據的持久化是至關重要的一環。 Orleans 7 引入了強大的持久化功能,使得在分散式環境下管理數據變得更加輕鬆和可靠。 本文將介紹什麼是 Orleans 7 的持久化,如何設置它以及相應的代碼示例。 什麼是 Orleans 7 的持久化? Orleans 7 的持久化是指將 Or ...
  • 前言 .NET Feature Management 是一個用於管理應用程式功能的庫,它可以幫助開發人員在應用程式中輕鬆地添加、移除和管理功能。使用 Feature Management,開發人員可以根據不同用戶、環境或其他條件來動態地控制應用程式中的功能。這使得開發人員可以更靈活地管理應用程式的功 ...
  • 在 WPF 應用程式中,拖放操作是實現用戶交互的重要組成部分。通過拖放操作,用戶可以輕鬆地將數據從一個位置移動到另一個位置,或者將控制項從一個容器移動到另一個容器。然而,WPF 中預設的拖放操作可能並不是那麼好用。為瞭解決這個問題,我們可以自定義一個 Panel 來實現更簡單的拖拽操作。 自定義 Pa ...
  • 在實際使用中,由於涉及到不同編程語言之間互相調用,導致C++ 中的OpenCV與C#中的OpenCvSharp 圖像數據在不同編程語言之間難以有效傳遞。在本文中我們將結合OpenCvSharp源碼實現原理,探究兩種數據之間的通信方式。 ...
  • 一、前言 這是一篇搭建許可權管理系統的系列文章。 隨著網路的發展,信息安全對應任何企業來說都越發的重要,而本系列文章將和大家一起一步一步搭建一個全新的許可權管理系統。 說明:由於搭建一個全新的項目過於繁瑣,所有作者將挑選核心代碼和核心思路進行分享。 二、技術選擇 三、開始設計 1、自主搭建vue前端和. ...
  • Csharper中的表達式樹 這節課來瞭解一下表示式樹是什麼? 在C#中,表達式樹是一種數據結構,它可以表示一些代碼塊,如Lambda表達式或查詢表達式。表達式樹使你能夠查看和操作數據,就像你可以查看和操作代碼一樣。它們通常用於創建動態查詢和解析表達式。 一、認識表達式樹 為什麼要這樣說?它和委托有 ...
  • 在使用Django等框架來操作MySQL時,實際上底層還是通過Python來操作的,首先需要安裝一個驅動程式,在Python3中,驅動程式有多種選擇,比如有pymysql以及mysqlclient等。使用pip命令安裝mysqlclient失敗應如何解決? 安裝的python版本說明 機器同時安裝了 ...