記一次 .NET 某感測器採集系統 線程爆高分析

来源:https://www.cnblogs.com/huangxincheng/archive/2023/03/30/17272068.html
-Advertisement-
Play Games

一：背景 1. 講故事 前段時間有位朋友微信找到我，說他的程式使用 hsl 庫之後，採集 plc 時記憶體溢出，讓我幫忙看一下怎麼回事，哈哈，貌似是分析之旅中的第二次和 hsl 打交道，既然找到我，那就上 windbg 說話吧。 二：WinDbg 分析 1. 為什麼會記憶體溢出 簡單觀察程式的提交記憶體之 ...


一：背景

1. 講故事

前段時間有位朋友微信找到我，說他的程式使用 hsl 庫之後，採集 plc 時記憶體溢出，讓我幫忙看一下怎麼回事，哈哈，貌似是分析之旅中的第二次和 hsl 打交道，既然找到我，那就上 windbg 說話吧。

二：WinDbg 分析

1. 為什麼會記憶體溢出

簡單觀察程式的提交記憶體之後，發現記憶體的 Stack 區非常大，隨用 !t 看了下到底有多少個線程，截圖如下：

不看不知道，一看嚇一跳，這個程式居然有近 1.5w 的線程，雖然我見過大世面(3w+線程)，但還是心有餘悸，隨用 ~*e !clrstack 看了下各個線程都在做什麼，經過一頓觀察，發現線程都卡在 Interactivelock.Enter 鎖上，截圖如下：

從代碼中看，理論上存在 Interactivelock.Enter() 和 Interactivelock.Leave() 因為各種異常導致鎖的不成對進而造成鎖污染的情況，看起來是 hsl 代碼不嚴謹造成的什麼 bug，觀察了下版本也不是最新的，而且最新版的鎖這塊也修改了邏輯，就讓朋友升級下 hsl 再觀察看看，看樣子這個問題應該輕鬆搞定了，不過我保守的說了下，如果還是遇到大量的線程，可以隨時聯繫我。

2. 真的搞定的嗎

過了一天這位朋友又找到我，說把 hsl 升級到最新版本之後還是出現了大量線程，讓我再看一下，繼續用 ~*e !clrstack 觀察各個線程棧，發現還是卡在 pipeSocket.PipeLockEnter() 這裡，這就很迷了，代碼如下：


OS Thread Id: 0x1144 (21)
        Child SP               IP Call Site
...
000000A1AFF3DE90 00007ffa9cac6e05 System.Net.Sockets.SocketPal.Connect(System.Net.Sockets.SafeSocketHandle, Byte[], Int32) [/_/src/System.Net.Sockets/src/System/Net/Sockets/SocketPal.Windows.cs @ 118]
000000A1AFF3DEE0 00007ffa9cac6c52 System.Net.Sockets.Socket.DoConnect(System.Net.EndPoint, System.Net.Internals.SocketAddress) [/_/src/System.Net.Sockets/src/System/Net/Sockets/Socket.cs @ 4415]
000000A1AFF3DF30 00007ffa9cac6a63 System.Net.Sockets.Socket.Connect(System.Net.EndPoint) [/_/src/System.Net.Sockets/src/System/Net/Sockets/Socket.cs @ 810]
000000A1AFF3DF80 00007ffa9b7bc75a HslCommunication.Core.NetSupport.CreateSocketAndConnect(System.Net.IPEndPoint, Int32, System.Net.IPEndPoint)
000000A1AFF3DFF0 00007ffa9cac8768 HslCommunication.Core.Net.NetworkBase.CreateSocketAndConnect(System.Net.IPEndPoint, Int32, System.Net.IPEndPoint)
000000A1AFF3E030 00007ffa9cac84ba HslCommunication.Core.Net.NetworkDoubleBase.CreateSocketAndInitialication()
000000A1AFF3E070 00007ffa9cac83b8 HslCommunication.Core.Net.NetworkDoubleBase.ConnectServer()
000000A1AFF3E0B0 00007ffa9c697f8b HslCommunication.Core.Net.NetworkDoubleBase.GetAvailableSocket()
000000A1AFF3E0F0 00007ffa9c697545 HslCommunication.Core.Net.NetworkDoubleBase.ReadFromCoreServer(Byte[], Boolean, Boolean)
000000A1AFF3E160 00007ffa9c6a2779 HslCommunication.Profinet.Siemens.SiemensS7Net.ReadS7AddressData(HslCommunication.Core.Address.S7AddressData[])
000000A1AFF3E1A0 00007ffa9bfedef5 HslCommunication.Profinet.Siemens.SiemensS7Net.Read(System.String, UInt16)
...

0:021> !dso
OS Thread Id: 0x1144 (21)
RSP/REG          Object           Name
000000A1AFF3E058 00000280c8ca33d8 HslCommunication.Profinet.Siemens.SiemensS7Net
000000A1AFF3E0C0 00000281c9150e58 Microsoft.Win32.SafeHandles.SafeWaitHandle
...

0:021> !gcroot 00000281c9150e58 
Thread 1144:
            ->  00000280C8CA37E8 HslCommunication.Core.SimpleHybirdLock
            ->  00000280C8CA3860 System.Lazy`1[[System.Threading.AutoResetEvent, System.Private.CoreLib]]
            ->  00000281C9150E40 System.Threading.AutoResetEvent
            ->  00000281C9150E58 Microsoft.Win32.SafeHandles.SafeWaitHandle

0:021> !do 00000280C8CA37E8
Name:        HslCommunication.Core.SimpleHybirdLock
Fields:
              MT    Field   Offset                 Type VT     Attr            Value Name
00007ffa998a71d0  4000162       14       System.Boolean  1 instance                0 disposedValue
00007ffa998ab1f0  4000163       10         System.Int32  1 instance              614 m_waiters
00007ffa9bcea5e0  4000164        8 ...Private.CoreLib]]  0 instance 00000280c8ca3860 m_waiterLock
00007ffa998ac570  4000165      2e8         System.Int64  1   static              859 simpleHybirdLockCount
00007ffa998ac570  4000166      2f0         System.Int64  1   static              857 simpleHybirdLockWaitCount

從上面的 m_waiters=614 來看，當前有 614 個線程在等待，這裡要稍微吐槽一下，建議封裝 SimpleHybirdLock 的時候最好記錄下當前誰在持有這個鎖，不然找起來太難了。。。

經過一頓摸索發現是 21號 線程正在持有 SimpleHybirdLock，正在調用 GetAvailableSocket 方法出不來，截圖如下：

3. 為什麼獲取不到 Socket

既然有 600+ 線程在等待，大概率在獲取可用 Socket 上出了什麼問題，有了這個思路我們用 !dso 去找下 Socket 的 IP 地址是什麼，看看dump中有沒有什麼異常。


0:021> !dso
OS Thread Id: 0x1144 (21)
RSP/REG          Object           Name
000000A1AFF3E350 00000281c8ac61a8 System.Object[]    (System.Object[])
000000A1AFF3EA38 00000281c9c80608 System.String    172.16.3.208
....

提取到 IP 地址之後，接下來到用 !strings 到 dump 中搜一下可有這個 ip 相關的信息，果不其然，發現有大量的 IP 超時，截圖如下：

到這裡我們大概就知道了，原來是程式跑著跑著，由於網路等各方面的問題導致 IP 不可訪問，進而引發程式系統性崩盤。

4. hsl 真的很無辜嗎

這裡沒有任何針對性，只是從技術上進行一下探討，先上一下 hsl 對這塊的處理，簡化後如下：



public OperateResult<byte[]> ReadFromCoreServer(byte[] send, bool hasResponseData, bool usePackAndUnpack = true)
{
    OperateResult<byte[]> operateResult = new OperateResult<byte[]>();
    OperateResult<Socket> operateResult2 = null;
    pipeSocket.PipeLockEnter();
    try
    {
        operateResult2 = GetAvailableSocket();
        if (!operateResult2.IsSuccess)
        {
            pipeSocket.IsSocketError = true;
            pipeSocket.PipeLockLeave();
            operateResult.CopyErrorFromOther(operateResult2);
            return operateResult;
        }
        ExtraAfterReadFromCoreServer(operateResult3);
        pipeSocket.PipeLockLeave();
    }
    catch
    {
        pipeSocket.PipeLockLeave();
        throw;
    }
    if (!isPersistentConn)
    {
        operateResult2?.Content?.Close();
    }
    return operateResult;
}

internal static OperateResult<Socket> CreateSocketAndConnect(IPEndPoint endPoint, int timeOut, IPEndPoint local = null)
{
    int num = 0;
    while (true)
    {
        num++;
        Socket socket = new Socket(endPoint.AddressFamily, SocketType.Stream, ProtocolType.Tcp);
        HslTimeOut hslTimeOut = HslTimeOut.HandleTimeOutCheck(socket, timeOut);
        try
        {
            if (local != null)
            {
                socket.Bind(local);
            }
            socket.Connect(endPoint);
            hslTimeOut.IsSuccessful = true;
            return OperateResult.CreateSuccessResult(socket);
        }
        catch (Exception ex)
        {
            socket?.Close();
            hslTimeOut.IsSuccessful = true;
            if (hslTimeOut.GetConsumeTime() < TimeSpan.FromMilliseconds(500.0) && num < 2)
            {
                Thread.Sleep(100);
                continue;
            }
            if (hslTimeOut.IsTimeout)
            {
                return new OperateResult<Socket>(string.Format(StringResources.Language.ConnectTimeout, endPoint, timeOut) + " ms");
            }
            return new OperateResult<Socket>($"Socket Connect {endPoint} Exception -> " + ex.Message);
        }
    }
}

從代碼中可以看到，hsl 通過 catch 捕獲到了異常，但並沒有強制 throw 讓用戶自己做決斷，而是吞到了 OperateResult 返回類中，用戶層因為偷懶又沒有判斷這種異常狀態導致了此問題的發生。 從邏輯看 Socket 是一個非常基礎的功能，所以我覺得強制拋出更合理一點，逼迫用戶可以更早的強制介入。

5. 為什麼會有那麼多線程

其實還留了一個問題沒有解答，那就是為什麼會產生那麼多的線程，很顯然這是一個 hsl 強吞異常導致的副作用，上層沒有判斷 OperateResult 的異常碼，以為一切都 ok，繼續它的周期性調度，被迫生成更多的線程池線程去赴死，危機重重，那具體是怎麼調度的呢？可以觀察各個線程的創建時間即可。


0:021> ~*e .printf "tid=%x\n",@$tid ; .ttime
...
Created: Thu Mar  9 09:02:05.541 2023 (UTC + 8:00)
Kernel:  0 days 0:00:00.062
User:    0 days 0:00:00.125
tid=38e8
Created: Thu Mar  9 09:02:10.540 2023 (UTC + 8:00)
Kernel:  0 days 0:00:00.015
User:    0 days 0:00:00.000
tid=2d64
Created: Thu Mar  9 09:02:15.540 2023 (UTC + 8:00)
Kernel:  0 days 0:00:00.015
User:    0 days 0:00:00.015
tid=3aa4
Created: Thu Mar  9 09:02:20.540 2023 (UTC + 8:00)
Kernel:  0 days 0:00:00.015
User:    0 days 0:00:00.000
tid=41ec
Created: Thu Mar  9 09:02:25.540 2023 (UTC + 8:00)
Kernel:  0 days 0:00:00.203
User:    0 days 0:00:00.218
...

從各個線程的創建時間來看，大概是 5s 採集一次。

三：總結

這次事故主要是由於在設備採集的過程中 IP 出了問題 導致的線程數暴漲引發的系統性崩潰，個人覺得朋友和hsl都有一定的責任，一個不檢查錯誤碼，一個強吞異常。

圖片名稱
您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 單鏈表的實現【02】：Student-Management-System
    一、問題引入 單鏈表的實現【01】：Student-Management-System 只體現了項目功能實現，未對代碼部分做出說明。 故新增隨筆進行補充說明代碼部分。 重構代碼，迭代版本：Student Mangement System(Version 2.0) 二、解決過程 基於單鏈表實現就離不開 ...
  • python中類成員修飾符
    在java，c#類的成員修飾符包括，公有、私有、程式集可用的、受保護的。 對於python來說，只有兩個成員修飾符：公有成員，私有成員 成員修飾符是來修飾誰呢？當然是修飾成員了。那麼python類的成員包括什麼呢？ python成員： 欄位，方法，屬性 每個類成員的修飾符有兩種: 公有成員:內部外部 ...
  • RocketMQ 學習
    前言 RocketMQ是阿裡巴巴旗下一款開源的MQ框架，經歷過雙十一考驗、Java編程語言實現，有非常好完整生態系統。RocketMQ作為一款純java、分散式、隊列模型的開源消息中間件，支持事務消息、順序消息、批量消息、定時消息、消息回溯等 本篇文章第一部分屬於一些核心概念和工作流程的講解；第二部 ...
  • Linux 伺服器大量的 log 日誌，如何正確看日誌快速定位錯誤？你必須學會！
    針對大量log日誌快速定位錯誤地方 動態查看日誌 tail -f catalina.ou 從頭打開日誌文件 cat catalina.ou 可以使用 >nanjiangtest.txt 輸出某個新日誌去查看 [root@yesky logs]# cat -n catalina.out |grep 7 ...
  • APS系統設計經驗分享(時間推導 - 2023.03)
    近段時間忙於各種項目和對【易排平臺】的優化，沒顧得上分享APS相關的小技巧，回頭看看小公眾號的關註人數早已達1500+，在此爭取時間寫一下這段時間在項目上及平臺優化過程中遇到的一些小技巧，以感謝諸位的關註。過去數月的解決的問題中，涉及最多的是規劃模型中，實現各種時間維度的功能，目前在平臺上也稍有成果 ...
  • 交互觸摸大屏概念整理
    呆了2個大屏行業的公司，對大屏幕有一些瞭解，所以整理下所瞭解的觸摸屏相關概念。方便自己以及進入這個行業的小伙伴們，能有個系統、快速的認知。 觸摸屏詳細的知識點，網上其實都有。整理資料過程中，我也瞭解了更多的觸摸屏知識，像聲波屏、光學屏之類的之前就沒接觸。下麵分不同的模塊，給大家介紹 交互觸摸屏類型 ...
  • C#-垃圾回收機制(GC)
    C#-垃圾回收機制(GC) 什麼是GC 官網中有這麼一句話： The garbage collector is a common language runtime component that controls the allocation and release of managed memory ...
  • WPF日曆控制項
    在 IIS 上啟用 Websocket 在 Windows Server 2012 或更高版本上啟用對 WebSocket 協議的支持： 備註 使用 IIS Express 時無需執行這些步驟 通過“管理”菜單或“伺服器管理器”中的鏈接使用“添加角色和功能”嚮導。 選擇“基於角色或基於功能的安裝”。 ...
一周排行
    -Advertisement-
    Play Games
  • Dapr Outbox 執行流程
    Dapr Outbox 是1.12中的功能。 本文只介紹Dapr Outbox 執行流程，Dapr Outbox基本用法請閱讀官方文檔 。本文中appID=order-processor，topic=orders 本文前提知識：熟悉Dapr狀態管理、Dapr發佈訂閱和Outbox 模式。 Outbo ...
  • Advanced .Net Debugging 7：托管堆與垃圾收集
    引言 在前幾章我們深度講解了單元測試和集成測試的基礎知識，這一章我們來講解一下代碼覆蓋率,代碼覆蓋率是單元測試運行的度量值,覆蓋率通常以百分比表示，用於衡量代碼被測試覆蓋的程度，幫助開發人員評估測試用例的質量和代碼的健壯性。常見的覆蓋率包括語句覆蓋率（Line Coverage）、分支覆蓋率（Bra ...
  • C#S7.NET實現西門子PLCDB塊數據採集的完整步驟
    前言 本文介紹瞭如何使用S7.NET庫實現對西門子PLC DB塊數據的讀寫，記錄了使用電腦模擬，模擬PLC，自至完成測試的詳細流程，並重點介紹了在這個過程中的易錯點，供參考。 用到的軟體： 1.Windows環境下鏈路層網路訪問的行業標準工具（WinPcap_4_1_3.exe）下載鏈接：http ...
  • WPF控制項：密碼框綁定MVVM
    從依賴倒置原則（Dependency Inversion Principle, DIP）到控制反轉（Inversion of Control, IoC）再到依賴註入（Dependency Injection, DI）的演進過程，我們可以理解為一種逐步抽象和解耦的設計思想。這種思想在C#等面向對象的編 ...
  • Python中的私有屬性與私有方法
    關於Python中的私有屬性和私有方法 Python對於類的成員沒有嚴格的訪問控制限制，這與其他面相對對象語言有區別。關於私有屬性和私有方法，有如下要點： 1、通常我們約定，兩個下劃線開頭的屬性是私有的（private）。其他為公共的（public）； 2、類內部可以訪問私有屬性（方法）； 3、類外 ...
  • C++ 訪問說明符詳解：封裝數據，控制訪問，提升安全性
    C++ 訪問說明符 訪問說明符是 C++ 中控制類成員（屬性和方法）可訪問性的關鍵字。它們用於封裝類數據並保護其免受意外修改或濫用。 三種訪問說明符： public：允許從類外部的任何地方訪問成員。 private：僅允許在類內部訪問成員。 protected：允許在類內部及其派生類中訪問成員。 示 ...
  • static_cast與dynamic_cast到底是什麼？
    寫這個隨筆說一下C++的static_cast和dynamic_cast用在子類與父類的指針轉換時的一些事宜。首先，【static_cast，dynamic_cast】【父類指針，子類指針】，兩兩一組，共有4種組合：用 static_cast 父類轉子類、用 static_cast 子類轉父類、使用 ...
  • C語言數據結構：雙向鏈表的增刪操作
    /******************************************************************************************************** * * * 設計雙向鏈表的介面 * * * * Copyright (c) 2023-2 ...
  • @ComponentScan註解的實現，Spring掃描包的過程
    相信接觸過spring做開發的小伙伴們一定使用過@ComponentScan註解 @ComponentScan("com.wangm.lifecycle") public class AppConfig { } @ComponentScan指定basePackage，將包下的類按照一定規則註冊成Be ...
  • opensips開啟python支持
    操作系統 ：CentOS 7.6_x64 opensips版本： 2.4.9 python版本：2.7.5 python作為腳本語言，使用起來很方便，查了下opensips的文檔，支持使用python腳本寫邏輯代碼。今天整理下CentOS7環境下opensips2.4.9的python模塊筆記及使用 ...
所有分類