SpringBoot Seata 死鎖問題排查

来源:https://www.cnblogs.com/cjsblog/archive/2023/12/06/17878583.html
-Advertisement-
Play Games

現象描述:Spring Boot項目,啟動的時候卡住了,一直卡在那裡不動,沒有報錯,也沒有日誌輸出 但是,奇怪的是,本地可以正常啟動 好吧,姑且先不深究為什麼本地可以啟動而部署到伺服器上就無法啟動的問題,這個不是重點,重點是怎麼讓它啟動起來。(PS:我猜測可能是環境不同造成的,包括操作系統不同和JD ...


現象描述:Spring Boot項目,啟動的時候卡住了,一直卡在那裡不動,沒有報錯,也沒有日誌輸出

但是,奇怪的是,本地可以正常啟動

好吧,姑且先不深究為什麼本地可以啟動而部署到伺服器上就無法啟動的問題,這個不是重點,重點是怎麼讓它啟動起來。(PS:我猜測可能是環境不同造成的,包括操作系統不同和JDK版本不同)

遇到這種情況,我先用jstack查看堆棧情況,果然發現了死鎖

拿到jstack的完整信息,然後仔細排查,看不懂的話也可以藉助工具

分析了每個被阻塞的線程之後,發現main線程和timeoutChecker_1_1互相等待對方持有的鎖,從而形成了死鎖

可以通過 jconsole 和 jvisualvm 查看

需要註意,如果是查看遠程進程,則需要加一些啟動參數

  • -Dcom.sun.management.jmxremote:啟用JMX
  • -Dcom.sun.management.jmxremote.port=<埠號>:指定JMX遠程連接的埠號
  • -Dcom.sun.management.jmxremote.authenticate=false:禁用JMX遠程連接的認證
  • -Dcom.sun.management.jmxremote.ssl=false:禁用JMX遠程連接的SSL加密

於是,我又重啟啟動

java -jar -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=9099 -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false app.jar

通過jps或者ps命令查找應用的pid

用jvisualvm查看也可以,不再贅述,結果都是一樣的

好了,工具介紹到此為止,下麵重點看代碼

main線程持有<0x00000000c07a33d8>這個對象的鎖,同時它還需要<0x00000000ff295ca8>對象的鎖,而timeoutChecker_1_1線程正好相反,於是死鎖了

main線程很好理解,就是我們這個SpringBoot應用的主線程,但是timeoutChecker_1_1線程是哪兒來的呢,通過分析發現它來自Seata

對了,該項目中Spring Boot版本是2.6.6,Seata版本是1.4.2

找到timeoutChecker的出處了

延遲60秒啟動定時任務,每隔10秒執行一次,調用io.seata.core.rpc.netty.NettyClientChannelManager#reconnect()

記住這一行,首先調用RegistryFactory.getInstance()獲取一個RegistryService,然後調用RegistryService對象的lookup()方法

接著看1.4.2

最重要的是 EnhancedServiceLoader.load(ExtConfigurationProvider.class).provide(configuration);

所以,ExtConfigurationProvider 是 SpringBootConfigurationProvider

回到seata-1.4.2,可以看到這裡調用了applicationContext.getBean(),於是DefaultListableBeanFactory.getBean()

可以看到,getSingletonFactoryBeanForTypeCheck()方法里,對singletonObjects加了同步鎖

凡是通過DefaultSingletonBeanRegistry#getSingleton()獲取單例Bean的都會先對singletonObjects加鎖

接下來看lookup

可以看到,NacosRegistryServiceImpl的lookup()這裡也加了鎖。另外,getNamingProperties()的時候由於再次用到了ConfigurationFactory.CURRENT_FILE_INSTANCE,所以又到了SpringBootConfigurationProvider#provide()

至此,Seata整個定時任務啟動的主要邏輯我們都梳理完了,幾處加鎖的也都找到了

這些加鎖的地方也就是容易出現死鎖的地方

死鎖是由於加鎖順序不一致造成的

下麵看main線程啟動

由於SeataDataSourceBeanPostProcessor實現了BeanPostProcessor介面,所以在創建容器之後會回調其postProcessAfterInitialization()方法

所以,最終還是調NettyClientChannelManager#reconnect()

Spring啟動的時候去創建Spring容器,後面就是Spring那一套

ConfigurableApplicationContext#refresh()

ServletWebServerApplicationContext#refresh()

不再贅述

由於需要註入依賴,所以,這個過程中肯定會多次調用 AbstractBeanFactory.getBean()

前面我們講過,DefaultSingletonBeanRegistry.getSingleton() 時是加了鎖的。因此,main線程很有可能會先持有該鎖,當初始化到Seata的時候,又要獲取該鎖,於是出現了鎖爭用。

由於兩個線程對同一資源的加鎖順序不一致,導致死鎖。

由於timeoutChecker是定時任務每隔10秒啟一次,所以第二次加鎖順序變成231

好了,關於main線程和timeoutChecker線程死鎖的分析就先到這裡了

現在,回到項目中來,由於我們的項目中有一個比較耗時的操作,超時時間固定是60秒,這個方法本來應該在Seata代理數據源之後做,不知道為什麼伺服器上先執行了,導致main線程等待了60秒,之後才執行SeataDataSourceBeanPostProcessor#postProcessAfterInitialization()

最終解決方法時將@PostConstruct註解去掉,不在容器初始化的時候取做這麼耗時的操作

如果採用Seata-1.5.2版本的話,可能也不會出現死鎖問題

 

參考

jconsole遠程連接失敗如何解決 - 問答 - 億速雲 (yisu.com) 

https://www.zhihuclub.com/179001.shtml 

https://zhuanlan.zhihu.com/p/619203844

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 一、定義 提供一種方法順序訪問一個聚合對象中的各個元素,且不用暴露該對象的內部表示。迭代器模式是一種對象行為型模式,又稱為游標(Cursor)模式。 二、描述 在軟體系統中,聚合對象擁有兩個職責:一是存儲數據,二是遍曆數據。從依賴性來看,前者是聚合對象的基本職責,而後者既是可變化的,又是可分離的。因 ...
  • 首先回顧了傳統SSM開發步驟,介紹了項目實現過程,從需求分析、設計、編碼到測試的流程。展示了一個簡單的員工信息管理功能,並提供了環境搭建及相關依賴配置的詳細代碼和配置。接著,提出了SSM開發存在的問題,如配置繁瑣和版本相容性。第二章介紹了Spring Boot的引言,解釋了Spring Boot的概... ...
  • 針對遇到的各種複雜形狀的主體,大多情況下,我們可以求得一個近似的多邊形來簡化視覺圖像處理,因為多邊形是由直線組成的,這樣就可以準確的劃分區域來便捷後續的操作。 cv2.arcLength() Method: 參數: curve:要計算周長的輪廓,可以是一個矩形、圓形、多邊形等封閉曲線。 closed ...
  • 寫在前面 這篇文章被擱置真的太久了,不知不覺拖到了周三了,當然,也算跟falsk系列說再見的時候,真沒什麼好神秘的,就是個資料庫操作,就大家都知道的CRUD吧。 Flask SQLAlchemy的使用 1、Flask SQLAlchemy簡介 Flask SQLAlchemy 是基於 Flask w ...
  • MinTray 說明 實現程式關閉時最小化托盤的功能 托盤實現顯示主頁面和退出的功能 支持擴展,直接引用TrayIcon類即可,對外暴露介面 單例實現,可復用 警告 註:博主所有資源永久免費,若有幫助,請點贊轉發是對我莫大的幫助 註:博主本人學習過程的分享,引用他人的文章皆會標註原作者 註:本人文章 ...
  • 變數、運算符、表達式、輸入與輸出 tip:[start]編程是一種控制電腦的方式,和我們平時雙擊打開文件、關機、重啟沒有任何區別——閆學燦tip:[end] 1.編寫一個簡單的Java程式–手速練習 /* step1:創建一個java源文件:HelloWorld.java 將編寫的java代碼保存 ...
  • 你是否曾想過為什麼在 Spring Boot 應用中緩存是如此重要?答案在於它通過減少數據檢索時間來提高性能。在本文中,我們將深入探討緩存對微服務模式的影響,並探討根據操作易用性、速度、可用性和可觀測性等因素選擇正確緩存的重要性。我們還將探討如何最大程度地提高緩存性能和可用性。 1 緩存實現 1.1 ...
  • 項目背景 原有的啟動平臺公共組件庫comm-util的瀏覽器工具類BrowserUtils是基於UserAgentUtils的,但是該項目最後一個版本發佈於 2018/01/24,之至今日23年底,已有5年沒有維護更新,會造成最新版本的部分瀏覽器不能正確獲取到瀏覽器信息。(至於為什麼停更了獲取不到最 ...
一周排行
    -Advertisement-
    Play Games
  • 1、預覽地址:http://139.155.137.144:9012 2、qq群:801913255 一、前言 隨著網路的發展,企業對於信息系統數據的保密工作愈發重視,不同身份、角色對於數據的訪問許可權都應該大相徑庭。 列如 1、不同登錄人員對一個數據列表的可見度是不一樣的,如數據列、數據行、數據按鈕 ...
  • 前言 上一篇文章寫瞭如何使用RabbitMQ做個簡單的發送郵件項目,然後評論也是比較多,也是準備去學習一下如何確保RabbitMQ的消息可靠性,但是由於時間原因,先來說說設計模式中的簡單工廠模式吧! 在瞭解簡單工廠模式之前,我們要知道C#是一款面向對象的高級程式語言。它有3大特性,封裝、繼承、多態。 ...
  • Nodify學習 一:介紹與使用 - 可樂_加冰 - 博客園 (cnblogs.com) Nodify學習 二:添加節點 - 可樂_加冰 - 博客園 (cnblogs.com) 介紹 Nodify是一個WPF基於節點的編輯器控制項,其中包含一系列節點、連接和連接器組件,旨在簡化構建基於節點的工具的過程 ...
  • 創建一個webapi項目做測試使用。 創建新控制器,搭建一個基礎框架,包括獲取當天日期、wiki的請求地址等 創建一個Http請求幫助類以及方法,用於獲取指定URL的信息 使用http請求訪問指定url,先運行一下,看看返回的內容。內容如圖右邊所示,實際上是一個Json數據。我們主要解析 大事記 部 ...
  • 最近在不少自媒體上看到有關.NET與C#的資訊與評價,感覺大家對.NET與C#還是不太瞭解,尤其是對2016年6月發佈的跨平臺.NET Core 1.0,更是知之甚少。在考慮一番之後,還是決定寫點東西總結一下,也回顧一下.NET的發展歷史。 首先,你沒看錯,.NET是跨平臺的,可以在Windows、 ...
  • Nodify學習 一:介紹與使用 - 可樂_加冰 - 博客園 (cnblogs.com) Nodify學習 二:添加節點 - 可樂_加冰 - 博客園 (cnblogs.com) 添加節點(nodes) 通過上一篇我們已經創建好了編輯器實例現在我們為編輯器添加一個節點 添加model和viewmode ...
  • 前言 資料庫併發,數據審計和軟刪除一直是數據持久化方面的經典問題。早些時候,這些工作需要手寫複雜的SQL或者通過存儲過程和觸發器實現。手寫複雜SQL對軟體可維護性構成了相當大的挑戰,隨著SQL字數的變多,用到的嵌套和複雜語法增加,可讀性和可維護性的難度是幾何級暴漲。因此如何在實現功能的同時控制這些S ...
  • 類型檢查和轉換:當你需要檢查對象是否為特定類型,並且希望在同一時間內將其轉換為那個類型時,模式匹配提供了一種更簡潔的方式來完成這一任務,避免了使用傳統的as和is操作符後還需要進行額外的null檢查。 複雜條件邏輯:在處理複雜的條件邏輯時,特別是涉及到多個條件和類型的情況下,使用模式匹配可以使代碼更 ...
  • 在日常開發中,我們經常需要和文件打交道,特別是桌面開發,有時候就會需要載入大批量的文件,而且可能還會存在部分文件缺失的情況,那麼如何才能快速的判斷文件是否存在呢?如果處理不當的,且文件數量比較多的時候,可能會造成卡頓等情況,進而影響程式的使用體驗。今天就以一個簡單的小例子,簡述兩種不同的判斷文件是否... ...
  • 前言 資料庫併發,數據審計和軟刪除一直是數據持久化方面的經典問題。早些時候,這些工作需要手寫複雜的SQL或者通過存儲過程和觸發器實現。手寫複雜SQL對軟體可維護性構成了相當大的挑戰,隨著SQL字數的變多,用到的嵌套和複雜語法增加,可讀性和可維護性的難度是幾何級暴漲。因此如何在實現功能的同時控制這些S ...