作者：京東零售 王雷

背景

雲原生下的流水線是通過啟動容器來運行具體的功能步驟，每次運行流水線可能會被調度到不同的計算節點上。這會導致一個問題：容器運行完是不會保存數據的，每當流水線重新運行時，又會重新拉取代碼、編譯代碼、下載依賴包等等。在雲原生場景下，不存在本地宿主機編譯代碼、構建鏡像時緩存的作用，大大延長了流水線運行時間，浪費很多不必要的時間、網路和計算成本。

在許多流水線場景中，同一條流水線的多次執行之間是有關聯的。如果能夠用到上一次的執行結果，則可以大幅縮短執行時間。為了提高用戶使用流水線的體驗，我們加入支持緩存的功能，掛接遠程儲存管理構建緩存，可以實現同一個項目的編譯依賴復用，在同一條流水線的多次運行中，共用同一份緩存。

目標

通過實現雲原生流水線的緩存技術，實現代碼編譯的緩存復用，平均加速流水線3~5倍；

實現方案

我們將需要進行緩存的文件，使用zstd的方式進行壓縮，通過遠程掛載cfs，將構建的緩存持久化到cfs上的指定位置。當下一次構建開始的時候，判斷緩存是否被命中，如果命中緩存，我們從cfs上的指定位置pull對應的緩存壓縮包，解壓到相應目錄下。

所用工具-cfs+zstd

非用戶自定義鏡像，將需要的工具打到引擎的基礎鏡像中，作為所有鏡像的基礎工具。

用戶自定義鏡像，不和用戶鏡像進行強綁定，如果需要使用緩存功能，可以使用Restore緩存原子和Save緩存原子，設置緩存key和緩存目錄，實現緩存功能。

1 cfs遠程掛載

•將工具和啟動腳本，配置文件打到基礎鏡像

•在開啟緩存的位置，啟動腳本，開始掛載cfs

_, err = c.ScriptAction.Sh([]string{
    "sh",
	"-c",
	"modprobe fuse;cd /export/servers/tools/cfs;sudo ./cfs-client-randomwrite -c fuse.json",
})

2 zstd壓縮

針對現有的幾種壓縮方式進行了性能對比，最後選用了zstd進行壓縮。

Zstd，全稱 Zstandard，是 Facebook 於 2016 年開源的新無損壓縮演算法。Zstd 還可以以壓縮速度為代價提供更強的壓縮比，速度與壓縮率的比重可通過增量進行配置。與 zlib、lz4、xz 等當前流行的壓縮演算法不同，Zstd 尋求一種壓縮性能與壓縮率通吃的方案，而實際上它也確實做到了。在由官方所列出的表格中，可以看到，Zstd 不僅具備優秀的壓縮性能，在壓縮率上也有非常亮眼的表現。在過去的兩年裡，Linux內核、HTTP協議、以及一系列的大數據工具（包括Hadoop 3.0.0，HBase 2.0.0，Spark 2.3.0，Kafka 2.1.0）等都已經加入了對zstd的支持。

常見的壓縮演算法性能對比：

壓縮包大小對比：

緩存的實現

我們借鑒了github cache action，zadig，gitlab等緩存的處理方式，同時結合服務自身的特點

將整體分成三步

•檢查是否命中緩存：根據緩存key，判斷緩存是否命中

•pull緩存

當緩存命中後，根據緩存路徑，找到掛載到cfs上的緩存壓縮包，解壓到指定的緩存目錄下

•push緩存：將依賴包進行壓縮，放到cfs的掛載目錄下

緩存的使用限制和回收策略

使用限制

目前存儲緩存數沒有限制，存儲庫中所有緩存的總大小限制是根據申請的cfs的大小限制：20G。

回收策略

我們會刪除7天內未被訪問的任何緩存。利用etcd的watch機制，實現緩存的回收。

etcd可以Watch 指定的鍵、首碼目錄的更改，並對更改時間進行通知。BASE引擎中，緩存的清除策略藉助etcd來實現。

緩存過期策略：在編譯加速的實現中，每個需要緩存的項目都有對應的緩存key，通過etcd監控key，並且設置過期時間，例如7天，如果在7天之內再次命中key，則通過lease進行續約；7天之內key都沒有被使用，key就會過期刪除，通過監聽對應的首碼，在過期刪除的時候，調用刪除緩存的方法。

storage.Watch("cache/",
		func(id string) {
			//do nothing
		},
		func(id string) {
			CleanCache(id)
		})

不同技術棧的最佳實踐

1 Java

以Maven構建工具為例，其預設配置文件位於conf/settings.xml文件中，預設指定環境變數$M2_HOME來設置緩存目錄，這樣同一條流水線多次執行可以復用 ${M2_HOME}/.m2 目錄 (緩存目錄)，甚至同一個應用下的多個分支之間都可以使用同一個緩存目錄，就像本地構建一樣。

2 NodeJs

在nodejs編譯中，我們的緩存目錄是當前用戶空間，針對node_modules文件進行壓縮打包，push到cfs；如果緩存命中，從cfs上pull並且解壓到當前用戶空間下，恢復緩存。

使用舉例

3 Golang編譯

Golang 緩存路徑通過$GOCACHE環境變數控制，將$GOCACHE的內容壓縮成zstd的包，上傳到cfs的指定路徑下。pull緩存的時候，拉取到對應的$GOCACHE。

4 GCC編譯

我們使用ccache進行緩存實現。ccache（“compilercache”的縮寫）是一個編譯器緩存，該工具會高速緩存編譯生成的信息，併在編譯的特定部分使用高速緩存的信息。ccache的緩存目錄：CCACHE_DIR，我們將這個目錄下的文件進行壓縮，push到cfs，當第二次運行並且命中緩存，從cfs上pull並解壓到CCACHE_DIR指定的目錄下。

總結

在不同語言的編譯原子內部，預設開啟緩存的設置。第一次運行流水線的時候，會進行依賴的下載，第二次運行流水線，會命中緩存，無需進行依賴的下載，提高了流水線執行的效率。緩存預設保存7天。

自定義鏡像進行緩存的最佳實踐

為了滿足用戶使用自定義鏡像的方式觸發流水線，我們增加了兩個通用的緩存原子。

Restore緩存：恢復緩存

Save緩存：保存緩存

在編譯之前，添加Restore緩存原子

在編譯之後，添加Save緩存原子

使用舉例

在maven編譯原子中，預設開啟了maven編譯的緩存；同時還有nodejs的編譯構建，所以我們增加了restore原子和save原子

未來規劃

•不同編譯原子，向用戶開放配置，如是否開啟緩存，設置緩存key

•實現不同語言編譯原子增量push緩存功能