記一次asp.net 8 伺服器爆滿的解決過程

来源:https://www.cnblogs.com/kugar/p/18199022
-Advertisement-
Play Games

前言 插件化的需求主要源於對軟體架構靈活性的追求,特別是在開發大型、複雜或需要不斷更新的軟體系統時,插件化可以提高軟體系統的可擴展性、可定製性、隔離性、安全性、可維護性、模塊化、易於升級和更新以及支持第三方開發等方面的能力,從而滿足不斷變化的業務需求和技術挑戰。 一、插件化探索 在WPF中我們想要開 ...


1.描述一下伺服器配置:

一臺2c4g的centos,做api介面反代

一臺8c16g的windows 2019 作為實際伺服器,跑了iis,sql server,mongodb,redis

2.業務描述

    2.0  伺服器分為兩個站點:importapi:用於處理數據導入,,,webapi:用於處理對用戶端的數據查詢

    2.1 從數據源採集數據後,經過一系列的操作之後,寫入sql和mongodb,部分基礎信息會緩存在redis中,根據數據量的大小,從處理到寫入的整個流程時間在60ms-1200ms之間,平均每秒伺服器需要處理到2-3條數據,同一類型的數據使用隊列處理,避免併發寫入導致數據回跳或者出現臟數據的問題.

    2.2 用戶web端,每秒定時通過介面讀取數據,並顯示界面上

3.使用到技術/類庫

    Asp.net core 8,easycaching,freesql,redis

4.問題表現

    當天晚上10點過後,突然mongodb,sqlserver和對外的webapi介面站點的進程突然cpu占用率暴漲,mongodb平均60-80%.webapi占用20%,sqlserver占用10%,記憶體占用了50%,,且遠程桌面操作不卡,webapi數據介面處理時間跟平時一樣200ms左右,但是數據不及時,通過日誌檢查的到,importapi站點原本處理時間上漲到6s-12s直接,導致了數據處理不及時,處理隊列積壓嚴重,從而導致了數據更新不及時.並且webapi介面項目不定時報"The wait queue for acquiring a connection to server 127.0.0.1:xxx is full".錯誤.從理論上說,我們的站點是小眾站點,業內人士使用,並不會出現突然涌進幾十倍的用戶的情況出現的

5.解決方式以及思路

    從表現上看,是mongodb的壓力突然暴漲,導致寫入變慢,但是壓力來源是哪裡,由於還沒安裝監控面板,所以也沒辦法查看,因此只能按業務反向的思路去解決,總的解決用了一下幾個點

   5.1 從導入的業務流程入手,儘量優化寫入以及數據分析操作所需要用的時間(之前幾天就想好的優化方案了,只是還沒上而已)

   5.2 關掉mongodb client 的 關掉WithWriteConcern

   5.3 在webapi介面項目,action上加入加上ResponseCache,過期時間3秒,(這裡的3秒主要是按業務上考慮的)

   5.4 關掉反代nginx的日誌(減少點壓力,本來反代的伺服器性能就沒多高)

   5.5  nginx開限流,10r/s/ip burst=20

   5.6 準備一把刀(作用看後面)

   以上處理後,importapi導入的時間降低到30ms-700ms,並且webapi輸出時間降低到50-300ms(緩存內50ms,緩存外300ms),mongodb的cpu占用降低到10%內,webapi占用5%下,,

6.最終原因分析

    說起來,,問題其實很簡單,本來是只有一個前端站點把數據介面指向過來伺服器的,,前兩天遷移了另外一個站點,把數據介面也指向到這台介面伺服器,意思就是兩個web站點,使用同一套數據介面,,新接過來的站點,前端寫完代碼後,沒檢查,導致了一個致命的問題,由於前端使用vue,切換頁面的時候調用了暫停每秒一次的定時器,然後進入詳情頁後,開了一個新的定時器,也是每秒取一次另外一個介面的數據,,最大的問題就出現在,進入詳情頁後,列表頁的定時器調用關閉的函數報錯了,,實際定時器是沒關的,,這tm就吐血了,進去一次,開一個新的,後退到列表頁又開一個新的,,來回10次,意味著加了20個每秒請求一次的的定時器,,直接自己ddos自己.至於這個問題怎麼發現的,,,是解決完問題後,不死心,,去兩個站點里翻找問題,本來以為這個問題在很久之前測試的時候出現過一次,應該不會再出現的,,,結果,,,,

7. 總結,,本次問題出現從晚上10點,一步一步優化,12點多1點的時候基本代碼層面解決到1秒以內,,剩下的一些nginx的優化掃尾工作再花個不到一個鐘頭(開限流,關日誌之類的操作),順便幫前端的兩個站點的centos伺服器上,把nginx的靜態文件gzip跟緩存功能也打開了,清理了一下寫入到mongodb的日誌,至於那把刀是今天準備給前端的

---------------------------------------- 世事如棋,乾坤莫測,笑盡英雄
您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 一:背景 1. 講故事 停了一個月沒有更新文章了,主要是忙於寫 C#內功修煉系列的PPT,現在基本上接近尾聲,可以回頭繼續更新這段時間分析dump的一些事故報告,有朋友微信上找到我,說他們的系統出現了大量的http超時,程式不響應處理了,讓我幫忙看下怎麼回事,dump也抓到了。 二:WinDbg分析 ...
  • 一、ReZero簡介 ReZero是一款.NET中間件 : 全網唯一開源界面操作就能生成API , 可以集成到任何.NET6+ API項目,無破壞性,也可讓非.NET用戶使用exe文件 免費開源:MIT最寬鬆協議 , 一直從事開源事業十年,一直堅持開源 1.1 純ReZero開發 適合.Net Co ...
  • EDP是一套集組織架構,許可權框架【功能許可權,操作許可權,數據訪問許可權,WebApi許可權】,自動化日誌,動態Interface,WebApi管理等基礎功能於一體的,基於.net的企業應用開發框架。通過友好的編碼方式實現數據行、列許可權的管控。 ...
  • 前言 Spacesniffer 是一個免費的文件掃描工具,通過使用樹狀圖可視化佈局,可以立即瞭解大文件夾的位置,幫助用戶處理找到這些文件夾 當前系統C盤空間 清理後系統C盤空間 下載 Spacesniffer 下載地址:https://spacesniffer.en.softonic.com/dow ...
  • efcore如何優雅的實現按年分庫按月分表 介紹 本文ShardinfCore版本 本期主角: ShardingCore 一款ef-core下高性能、輕量級針對分表分庫讀寫分離的解決方案,具有零依賴、零學習成本、零業務代碼入侵適配 距離上次發文.net相關的已經有很久了,期間一直在從事java相關的 ...
  • Channel 是乾什麼的 The System.Threading.Channels namespace provides a set of synchronization data structures for passing data between producers and consume ...
  • EDP是一套集組織架構,許可權框架【功能許可權,操作許可權,數據訪問許可權,WebApi許可權】,自動化日誌,動態Interface,WebApi管理等基礎功能於一體的,基於.net的企業應用開發框架。通過友好的編碼方式實現數據行、列許可權的管控。 ...
  • 歡迎ReaLTaiizor是一個用戶友好的、以設計為中心的.NET WinForms項目控制項庫,包含廣泛的組件。您可以使用不同的主題選項對項目進行個性化設置,並自定義用戶控制項,以使您的應用程式更加專業。 項目地址:https://github.com/Taiizor/ReaLTaiizor 步驟1: ...
一周排行
    -Advertisement-
    Play Games
  • 下麵是一個標準的IDistributedCache用例: public class SomeService(IDistributedCache cache) { public async Task<SomeInformation> GetSomeInformationAsync (string na ...
  • 這個庫提供了在啟動期間實例化已註冊的單例,而不是在首次使用它時實例化。 單例通常在首次使用時創建,這可能會導致響應傳入請求的延遲高於平時。在註冊時創建實例有助於防止第一次Request請求的SLA 以往我們要在註冊的時候實例單例可能會這樣寫: //註冊: services.AddSingleton< ...
  • 最近公司的很多項目都要改單點登錄了,不過大部分都還沒敲定,目前立刻要做的就只有一個比較老的項目 先改一個試試手,主要目標就是最短最快實現功能 首先因為要保留原登錄方式,所以頁面上的改動就是在原來登錄頁面下加一個SSO登錄入口 用超鏈接寫的入口,頁面改造後如下圖: 其中超鏈接的 href="Staff ...
  • Like運算符很好用,特別是它所提供的其中*、?這兩種通配符,在Windows文件系統和各類項目中運用非常廣泛。 但Like運算符僅在VB中支持,在C#中,如何實現呢? 以下是關於LikeString的四種實現方式,其中第四種為Regex正則表達式實現,且在.NET Standard 2.0及以上平... ...
  • 一:背景 1. 講故事 前些天有位朋友找到我,說他們的程式記憶體會偶發性暴漲,自己分析了下是非托管記憶體問題,讓我幫忙看下怎麼回事?哈哈,看到這個dump我還是非常有興趣的,居然還有這種游戲幣自助機類型的程式,下次去大玩家看看他們出幣的機器後端是不是C#寫的?由於dump是linux上的程式,剛好win ...
  • 前言 大家好,我是老馬。很高興遇到你。 我們為 java 開發者實現了 java 版本的 nginx https://github.com/houbb/nginx4j 如果你想知道 servlet 如何處理的,可以參考我的另一個項目: 手寫從零實現簡易版 tomcat minicat 手寫 ngin ...
  • 上一次的介紹,主要圍繞如何統一去捕獲異常,以及為每一種異常添加自己的Mapper實現,並且我們知道,當在ExceptionMapper中返回非200的Response,不支持application/json的響應類型,而是寫死的text/plain類型。 Filter為二方包異常手動捕獲 參考:ht ...
  • 大家好,我是R哥。 今天分享一個爽飛了的面試輔導 case: 這個杭州兄弟空窗期 1 個月+,面試了 6 家公司 0 Offer,不知道問題出在哪,難道是杭州的 IT 崩盤了麽? 報名面試輔導後,經過一個多月的輔導打磨,現在成功入職某上市公司,漲薪 30%+,955 工作制,不咋加班,還不捲。 其他 ...
  • 引入依賴 <!--Freemarker wls--> <dependency> <groupId>org.freemarker</groupId> <artifactId>freemarker</artifactId> <version>2.3.30</version> </dependency> ...
  • 你應如何運行程式 互動式命令模式 開始一個互動式會話 一般是在操作系統命令行下輸入python,且不帶任何參數 系統路徑 如果沒有設置系統的PATH環境變數來包括Python的安裝路徑,可能需要機器上Python可執行文件的完整路徑來代替python 運行的位置:代碼位置 不要輸入的內容:提示符和註 ...