淺談--技術架構的演進(微服務,負載均衡,非同步,消息隊列,數據存儲,高併發處理,緩存機制)

来源:https://www.cnblogs.com/eliauk-L/archive/2022/06/08/16355044.html
-Advertisement-
Play Games

1、雞蛋不能都放在一個籃子里——單體應用演進到微服務應用 想象一下,你家樓上有個業主在裝修,施工不當,導致你家裡有個卧室漏水了,這個時候你怎麼辦? 正常人都是喊人來修,然後先臨時搬到另外的房間睡覺。而不是在維修人員修卧室的時候,全家搬到酒店裡去睡。因為,只是那一個房間漏水,其它房間還是能夠正常使用的 ...


1、雞蛋不能都放在一個籃子里——單體應用演進到微服務應用

想象一下,你家樓上有個業主在裝修,施工不當,導致你家裡有個卧室漏水了,這個時候你怎麼辦?

正常人都是喊人來修,然後先臨時搬到另外的房間睡覺。而不是在維修人員修卧室的時候,全家搬到酒店裡去睡。因為,只是那一個房間漏水,其它房間還是能夠正常使用的。

在程式中的體現:

單體應用:

項目所有的模塊都打包到一起,然後扔到伺服器上部署運行。假如這個項目是一個電商項目,裡面有下單模塊,派送模塊等等。你把這些模塊想象成你家的房間,一個模塊對應一個房間,現在派送模塊對應的房間漏水了,這個時候怎麼辦?沒辦法,只能全家出去住了,為啥,因為你所有的模塊都打包到一個項目裡面去了,一個模塊掛了,整個項目都得停下來,等派送模塊修好了,再啟動項目繼續運行。缺點一目瞭然。

微服務應用:

為瞭解決單體式應用的不足,微服務的概念橫空出世。核心就是“拆”,把一整個項目按模塊拆成一個個的小項目,所有拆分的小項目之間進行合作通信形成原先的整體項目。這樣有什麼好處,當我們的項目在運行的時候,同樣派送模塊掛了,這時候掛了的只有這一個模塊服務,你其它模塊的服務還是能後正常運行,用戶還是能夠正常下單,老闆還是正常賺錢。維修人員只需要把派送模塊修好之後重新運行起來,然後加進來繼續給用戶下的單送貨。當然,最重要的就是,你不用全家出去睡了!

 


2、三個臭皮匠頂個諸葛亮——系統應用的高併發怎麼處理

在學校的時候,自己的畢業課設是《網上求職招聘管理系統》,做完了之後,和同學室友測了請求響應都很迅速,沒啥毛病。但是,當在面試的時候,面試官問我這個系統的併發量、性能問題的時候,我只能說額,今天天氣真不錯。

實際在公司做項目的時候,不僅僅是系統能夠正常跑起來這麼簡單而已,更重要的是系統能夠承受住的用戶併發請求。當用戶數量龐大時,我們就需要更好的機器、更好的CPU、更大的記憶體、更好的網路環境去應對請求的高併發。

為了應對這種高併發的情況,兩種處理方式:

垂直擴展

那就是在一臺伺服器的基礎上,不斷升級其中的配件,加入更多的磁碟、升級更大的記憶體、買更好更快的CPU......更加強大的伺服器當然能夠處理更高的併發量。總結一句話,充錢使你更加強大。

但是,這樣也是有弊端的,首先就是老闆與客戶不一定願意花錢(有錢當我沒說),更重要的一點還是,就算你給這台伺服器 所有的配件都升級成最好的。但是,單台伺服器處理性能還是有瓶頸的。那怎麼辦呢?俗話說得好,三個臭皮匠能頂一個諸葛亮。於是水平擴展出現了。

水平擴展

既然一臺伺服器有瓶頸,那就多換幾個機器來處理用戶請求,把單體應用轉變成分散式集群應用。不僅省錢,處理併發 的能力也好。

3、緩存架構提高系統的讀能力

講個簡單的場景:前臺用戶訪問系統應用的數據,後臺是通過查詢資料庫的數據返回給前端展示的,在低訪問量的情況下,這簡單的流程,系統還是能夠妥妥處理的。但是,你想想,在淘寶雙11的活動下,成千上萬的用戶同時訪問淘寶,購買商品,同一個時間點,幾百萬幾千萬的用戶請求往後臺的資料庫打,能直接把後臺資料庫給打崩。

為了防止這種情況的發生,緩存出現了。在原來的邏輯中間加一層緩存,前臺用戶請求來的時候,不用每次都去資料庫里操作數據,而是將應用程式需要的數據暫存在緩存之中,請求來了,先查緩存,緩存中有的話就不用去資料庫里查。這樣就能夠大大減少資料庫直接被用戶打崩的情況,而且緩存是在記憶體中的,用戶請求不用去I/O磁碟,而是直接讀取記憶體數據,快得很。

4、非同步架構提高系統的寫能力

緩存架構的出現,大大提高了程式的讀能力,那麼系統寫的能力有沒有什麼方法提高呢?這時候,非同步架構的概念就出現了,也就是消息隊列的應用。

同步概念

快遞員在送快遞的時候,往往都會要求買家在收到快遞的時候簽個名字,有的時候,買家不在家還需要站在門口等買家回來,浪費自己送快遞的時間。

在程式中的體現:A系統向另一個B系統發了一個消息,此時,A系統要收到B系統的回信才能進行其他的操作,否則這個進程就一直卡在這裡。問題來了,要是B系統能夠立即回覆還好,要是因為網路等原因一直在延遲,那麼A系統的CPU資源就一直在那裡等著,也就是說那些CPU資源就是被浪費了。

非同步概念

快遞員在送快遞的時候,不需要用戶直接簽名簽收,我直接給你放快遞櫃里就行了,你人回家直接去快遞櫃里掃碼取件就行了。

在程式中的體現:你在微信給你的好朋友發一條消息,發完之後你就可以不用管了,手機想玩啥就玩啥,不用等到對方回了你的消息你才能夠使用手機玩別的。

流程示意圖:

你只需要將消息發給中間新加入的消息隊列組件,消息隊列在收到你發的消息之後就給你立即返回,至於這條消息發給另一個用戶的操作消息隊列自己會處理就不用你關心了。

這樣做的好處:

  • 給你快速的響應,避免白白等待,浪費系統資源。

  • 流量削峰,在淘寶雙11活動下,加入這個消息隊列,成千上萬的用戶請求過來,系統一時間處理不過來,就可以把用戶的請求放到這個消息隊列裡面,讓系統進行排隊處理。

  • 降低系統的耦合度,在調用者系統和被調用者系統之間加入消息隊列,這樣兩者之間的代碼依賴就少了,交互的部分交給中間的消息隊列處理就好了。

5、解決機器不幹活——負載均衡的出現

前面說到,使用多台機器代替一臺機器用來處理前臺用戶的請求。那麼問題來了,前臺過來的應用,發到後臺來,後臺三個伺服器大眼瞪小眼,誰來幹活呢?這時候負載均衡就出現了。

請求來到後臺的時候,先要經過負載均衡處理器的一道處理,這裡可以想象這個負載均衡器是一個包工頭,項目來的時候,把項目分給自己手下管理的小弟來做。

當然,這個負載均衡里會涉及到很多不同的演算法,輪詢、隨機、最多、最少......等。簡單來講就是,輪詢演算法包工頭會把上面派下來的任務平均分到每一個小弟的手上,當然,包工頭也可以根據心情,故意讓你多做或者故意讓你少乾,這就是裡面你選擇的負載均衡演算法。

6、狡兔三窟——數據存儲

前面說到,大量的用戶請求都需要訪問資料庫。你想過沒有,如果系統只有一個資料庫,當這個資料庫因為停電啥的故障壞了怎麼辦,那麼整個系統就都涼涼了。為瞭解決這個問題,那就是給數據做好備份,多台資料庫伺服器提供用戶服務。當一臺資料庫伺服器掛了的時候,其它的還可以頂上去,繼續給用戶提供服務。

用專業的話來講就是,主從複製,整個伺服器有一臺主伺服器多台從伺服器,從伺服器定時同步主伺服器的數據,這樣,當主伺服器掛了的時候,從伺服器頂上,系統照樣能夠正常運行。

這種技術手段在大部分資料庫里都有使用,如mysqlredis

7、看起來不太聰明的樣子——搜索引擎

相信對於程式員來講,面向百度谷歌編程這句話大家都比較熟悉。但是,當程式出現bug的時候,打開百度的搜索欄,想了半天不知道怎麼搜索問題。為了能夠快速找到問題的解決方案,當然是輸入的關鍵詞越接近問題,顯示出來的答案更加準確。

 

想百度谷歌這種大型的搜索網站都有屬於自己的一套搜索引擎,根據這些搜索引擎裡面的演算法,可以根據我們提供的搜索關鍵字,排序顯示給我們問題的答案。

現在比較熱門搜索引擎有essolr。

 

轉載聲明

轉載出自:https://www.cnblogs.com/l12138h/p/16353694.html


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 在新建一張賬單結算信息表bill_settlement_info的時候,建立的唯一索引uk_bill_no(bill_no,tenant_id)。由於列表查詢用到該表的欄位。所以在sql中自然做了jeft join查詢。 on條件是bill.billNo=bill_settlement_info.b ...
  • 2022年6月7日,北京時間11:30,隨著高考第一場科目語文考試結束,全國各地的高考作文題也正式在公眾面前“登臺亮相”。今年全國乙捲的高考作文題目是“跨越,再跨越”,雙奧之城閃耀世界,兩次奧運會展示了我國綜合國力的跨越式發展,同期騰訊雲資料庫也實現了從兒童向有為青年的跨越。 卓越永無止境,跨越永不 ...
  • 一、基本說明 • Oracle 中的函數可以返回表類型,但是這個表類型實際上是集合類型(與數組類似)。從 Oracle 9i 開始,提供了一個叫做"管道化表函數"來解決此問題。 • 管道化表函數,必須返回一個集合類型,且標明 pipelined。它不能返回具體變數,必須以一個空 return 返回, ...
  • 618電商節火熱進行中,某電商App準備向用戶推送一條全局活動消息,運營準備了兩個推送文案: 文案A:年中囤貨我們更懂你,沒有大優惠怎敢驚動你:美妝個戶,戶外運動,醫療健康,一站式備齊,點擊>> 文案B:全場特價1折起,跨店滿減滿300-30,會員更有折上折,6.1激情預售開啟,現在就搶,一價到底, ...
  • 你有沒有發現,我們解鎖手機後桌面上App右上角總能看到一個小紅點,這就是推送角標。推送角標指的是移動設備上App圖標右上角的紅色圓圈,圓圈內的白色數字表示未讀消息數量。角標是一種比較輕的提醒方式,通過直觀的展現用戶尚未閱讀的信息數量,可以給用戶營造一種緊張感,激起用戶閱讀的好奇心,從而讓用戶忍不住點 ...
  • 保姆級 基於Win10環境下的Hugo免費博客搭建 軟體下載 Hugo下載地址:Hugo git下載地址:git,建議先註冊GitHub賬號。 推薦編輯器vs code,下載地址:vs code 配置環境變數 hugo安裝完畢後在hugo.exe文件夾中,新建bin文件夾,將hugo.exe放入bi ...
  • 欲語還休,欲語還休,卻道天涼好個秋 《醜奴兒·書博山道中壁》辛棄疾 什麼是 SSR ShadowsocksR?陰陽師?FGO? **Server-side rendering (SSR)**是應用程式通過在伺服器上顯示網頁而不是在瀏覽器中渲染的能力。伺服器端向客戶端發送一個完全渲染的頁面(準確來說是 ...
  • 這裡給大家分享我在網上總結出來的一些知識,希望對大家有所幫助 做地圖開發,往往需要掌握專題地圖製作的技能。今天用OpenLayers6來做一個熱力圖的效果。 頁面效果: 代碼部分: <!DOCTYPE html> <html lang="zh-cmn-Hans"> <head> <meta char ...
一周排行
    -Advertisement-
    Play Games
  • 概述:在C#中,++i和i++都是自增運算符,其中++i先增加值再返回,而i++先返回值再增加。應用場景根據需求選擇,首碼適合先增後用,尾碼適合先用後增。詳細示例提供清晰的代碼演示這兩者的操作時機和實際應用。 在C#中,++i 和 i++ 都是自增運算符,但它們在操作上有細微的差異,主要體現在操作的 ...
  • 上次發佈了:Taurus.MVC 性能壓力測試(ap 壓測 和 linux 下wrk 壓測):.NET Core 版本,今天計劃準備壓測一下 .NET 版本,來測試並記錄一下 Taurus.MVC 框架在 .NET 版本的性能,以便後續持續優化改進。 為了方便對比,本文章的電腦環境和測試思路,儘量和... ...
  • .NET WebAPI作為一種構建RESTful服務的強大工具,為開發者提供了便捷的方式來定義、處理HTTP請求並返迴響應。在設計API介面時,正確地接收和解析客戶端發送的數據至關重要。.NET WebAPI提供了一系列特性,如[FromRoute]、[FromQuery]和[FromBody],用 ...
  • 原因:我之所以想做這個項目,是因為在之前查找關於C#/WPF相關資料時,我發現講解圖像濾鏡的資源非常稀缺。此外,我註意到許多現有的開源庫主要基於CPU進行圖像渲染。這種方式在處理大量圖像時,會導致CPU的渲染負擔過重。因此,我將在下文中介紹如何通過GPU渲染來有效實現圖像的各種濾鏡效果。 生成的效果 ...
  • 引言 上一章我們介紹了在xUnit單元測試中用xUnit.DependencyInject來使用依賴註入,上一章我們的Sample.Repository倉儲層有一個批量註入的介面沒有做單元測試,今天用這個示例來演示一下如何用Bogus創建模擬數據 ,和 EFCore 的種子數據生成 Bogus 的優 ...
  • 一、前言 在自己的項目中,涉及到實時心率曲線的繪製,項目上的曲線繪製,一般很難找到能直接用的第三方庫,而且有些還是定製化的功能,所以還是自己繪製比較方便。很多人一聽到自己畫就害怕,感覺很難,今天就分享一個完整的實時心率數據繪製心率曲線圖的例子;之前的博客也分享給DrawingVisual繪製曲線的方 ...
  • 如果你在自定義的 Main 方法中直接使用 App 類並啟動應用程式,但發現 App.xaml 中定義的資源沒有被正確載入,那麼問題可能在於如何正確配置 App.xaml 與你的 App 類的交互。 確保 App.xaml 文件中的 x:Class 屬性正確指向你的 App 類。這樣,當你創建 Ap ...
  • 一:背景 1. 講故事 上個月有個朋友在微信上找到我,說他們的軟體在客戶那邊隔幾天就要崩潰一次,一直都沒有找到原因,讓我幫忙看下怎麼回事,確實工控類的軟體環境複雜難搞,朋友手上有一個崩潰的dump,剛好丟給我來分析一下。 二:WinDbg分析 1. 程式為什麼會崩潰 windbg 有一個厲害之處在於 ...
  • 前言 .NET生態中有許多依賴註入容器。在大多數情況下,微軟提供的內置容器在易用性和性能方面都非常優秀。外加ASP.NET Core預設使用內置容器,使用很方便。 但是筆者在使用中一直有一個頭疼的問題:服務工廠無法提供請求的服務類型相關的信息。這在一般情況下並沒有影響,但是內置容器支持註冊開放泛型服 ...
  • 一、前言 在項目開發過程中,DataGrid是經常使用到的一個數據展示控制項,而通常表格的最後一列是作為操作列存在,比如會有編輯、刪除等功能按鈕。但WPF的原始DataGrid中,預設只支持固定左側列,這跟大家習慣性操作列放最後不符,今天就來介紹一種簡單的方式實現固定右側列。(這裡的實現方式參考的大佬 ...