基於緩存或zookeeper的分散式鎖實現

来源:https://www.cnblogs.com/jmcui/archive/2019/07/14/11186224.html
-Advertisement-
Play Games

緩存鎖  我們常常將緩存作為分散式鎖的解決方案,但是卻不能單純的判斷某個 key 是否存在 來作為鎖的獲得依據,因為無論是 exists 和 get 命名都不是線程安全的,都無法保證只有一個線程可以獲得鎖,存線上程爭搶,可能會有多個線程同時拿到鎖的情況(經典的 Redis “讀後寫”的問題 ...


緩存鎖

 我們常常將緩存作為分散式鎖的解決方案,但是卻不能單純的判斷某個 key 是否存在 來作為鎖的獲得依據,因為無論是 exists 和 get 命名都不是線程安全的,都無法保證只有一個線程可以獲得鎖,存線上程爭搶,可能會有多個線程同時拿到鎖的情況(經典的 Redis “讀後寫”的問題)。

incr 緩存鎖

@Component
public class LockClient {

    private StringRedisTemplate stringRedisTemplate;

    private ValueOperations<String, String> valueOperations;

    @Autowired
    public void setStringRedisTemplate(StringRedisTemplate stringRedisTemplate) {
        this.stringRedisTemplate = stringRedisTemplate;
        this.valueOperations = stringRedisTemplate.opsForValue();
    }

    public void lockIncr() {
        Long lockIncr = valueOperations.increment("lockIncr", 1);
        // 說明拿到了鎖
        if (lockIncr == 1) {
            // 業務操作
        }
    }
}    
  1. incr:遞增指定鍵對應的數值,如果不存在 key 對應的值,那麼會先將 key 的值設置為 0,然後執行 incr 操作,返回遞增的值。
  2. 這種鎖的實現原理主要是利用 incr 命令的原子性,同一時間只會有一個線程操作這個命令。
  3. 這種鎖的實現方式,不在乎結果數據。保證只有唯一線程能夠執行到業務代碼。

setnx 緩存鎖

 上面的鎖實現方式,我們對資源做了隔離,保證只有唯一線程可以拿到資源並執行操作。但是如果資源並不是唯一線程執行的呢?存在多個線程爭搶的情況下呢?

    public void lockSetnx() {
        String lock = "lockSetnx";
        long millis = System.currentTimeMillis();
        long timeout = millis + 3000L + 1;
        try {
            while (true) {
                boolean setnx = valueOperations.setIfAbsent(lock, timeout + "");
                if (setnx == true) {
                    break;
                }
                String oldTimeout = valueOperations.get(lock);
                // 這一步是為瞭解決客戶端異常宕機,鎖沒有被正常釋放的時候。
                // 當 p1、p2 同時執行到這裡,發現鎖的時間過期了。p1、p2 同時執行 getSet 命令。
                // 假設 p1 先執行成功了,那麼 p1 得到的值就是原來鎖的過期時間(可以符合下麵的判斷式),表示爭搶鎖成功。
                // 假設 p2 後執行成功了,那麼 p2 得到的值就是 p1 set 進去的值(不會符合下麵的表達式),表示爭搶鎖失敗。
                String oldValue = valueOperations.getAndSet(lock, timeout + "");
                if (millis > Long.valueOf(oldTimeout) && millis > Long.valueOf(oldValue)) {
                    break;
                }
                // 休眠 100 毫秒,再去爭搶鎖
                Thread.sleep(100);
            }

            // 執行業務代碼
        } catch (InterruptedException e) {
            e.printStackTrace();
        } finally {
            if (millis < timeout) {
                stringRedisTemplate.delete(lock);
            }
        }

    }
  1. setnx:只有第一個線程會執行成功,返回 true,其餘線程執行失敗,返回 false。
  2. getSet:返回 key 中的舊值,並把新的值 set 進去。
  3. 細細看來,好像似乎 setnx 命令就能夠實現分散式鎖了,為什麼還要 getSet 命名呢?getSet 命令是為瞭解決客戶端異常宕機,鎖沒有被正常釋放的情況下,結合過期時間來保證線程安全。可以看看官網的介紹,有詳細解釋這個問題。

zookeeper 鎖

zookeeper,天生的分散式協調工具,生來就是為瞭解決各種分散式的難題,比如分散式鎖、分散式計數器、分散式隊列等等。

zookeeper 分散式鎖,如果自己實現的話,大抵的實現方式如下:

公平鎖:

  • 在 zookeeper 的指定節點(locks)下創建臨時順序節點 node_n ;
  • 獲取 locks 下麵的所有子節點 children。
  • 對子節點按節點自增序號從小到大排序。
  • 判斷本節點是不是第一個子節點,如果是,則獲取到鎖。如果不是,則監聽比該節點小的那個節點的刪除事件。
  • 若監聽事件生效,則回到第二步重新判斷,直到獲取到鎖。

不公平鎖

  • 在 zookeeper 的某個節點(lock)上創建臨時節點 znode。
  • 創建成功,就表示獲取到了這個鎖;其他客戶端來創建鎖會失敗,只能註冊對這個鎖的監聽。
  • 其他客戶端監聽到這個鎖被釋放(znode節點被刪除),就會嘗試加鎖(創建節點),繼續執行第二步。

幸運的是,zookeeper recipes 客戶端為我們提供了多種分散式鎖實現:

  • InterProcessMutex(可重入排他鎖)
  • InterProcessSemaphoreMutex(不可重入排他鎖)
  • InterProcessReadWriteLock(分散式讀寫鎖)
  • InterProcessSemaphore(共用信號量 —— 設置最大並行數量)

zookeeper recipes 鎖的簡單使用:

        <dependency>
            <groupId>org.apache.zookeeper</groupId>
            <artifactId>zookeeper</artifactId>
            <version>3.4.14</version>
        </dependency>
        <dependency>
            <groupId>org.apache.curator</groupId>
            <artifactId>curator-framework</artifactId>
            <version>4.0.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.curator</groupId>
            <artifactId>curator-recipes</artifactId>
            <version>4.0.1</version>
        </dependency>
    public InterProcessMutex interProcessMutex(String lockPath) {
        CuratorFramework client = CuratorFrameworkFactory.newClient(zookeeper, new ExponentialBackoffRetry(1000, 3));
        // 啟用命名空間,做微服務間隔離
        client.usingNamespace(namespace);
        client.start();
        return new InterProcessMutex(client, lockPath);
    }
    public void lockUse() {
        InterProcessMutex interProcessMutex = interProcessMutex("/lockpath");
        try {
            // 獲取鎖
            if (interProcessMutex.acquire(100, TimeUnit.MILLISECONDS)) {
                // 執行業務代碼
            }
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            // 釋放鎖
            try {
                interProcessMutex.release();
            } catch (Exception e) {
                e.printStackTrace();
            }
        }
    }

比較

  • 緩存分散式鎖,必須採用輪詢的方式去嘗試加鎖,對性能浪費很大;zookeeper 分散式鎖,可以通過監聽的方式等待通知或超時,當有鎖釋放,通知使用者即可。
  • 如果緩存獲取鎖的那個客戶端宕機了,鎖不會被釋放,只能通過其它方式解決(上面的 getSet 判斷);而 zookeeper 的話,因為創建的是臨時 znode,只要客戶端掛了,znode 就沒了,此時就自動釋放鎖。

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 一、標識符 1.標識符定義:在java源程式中凡是可以自己命名的單詞 2.標識符可以標識什麼元素? (1)類名(2)方法名(3)變數名(4)介面名(5)常量名 等等 3.標識符的命名要求 (1)一個合法的標識符只能由“數字、字母、下劃線、美元符號”來組成,不能含有其他符號。 (2)不能數字開頭 (3 ...
  • 一、Shiro簡介 1、基礎概念 Apache Shiro是一個強大且易用的Java安全框架,執行身份驗證、授權、密碼和會話管理。作為一款安全框架Shiro的設計相當巧妙。Shiro的應用不依賴任何容器,它不僅可以在JavaEE下使用,還可以應用在JavaSE環境中。 2、核心角色 1)Subjec ...
  • 總結理解的模板方法設計模式及抽象類 (菜鳥一隻,若有什麼侵權或者不足之處,請指出,謝謝) 模板方法設計模式: 在父類中定義一個總體的演算法骨架,而將一些具體的實現步驟放在到子類中,因為不同的子類實現細節不同 模板方法使得子類可以在不改變演算法框架的情況下,只需要重新定義演算法的某些實現步驟(藉助於抽象類實 ...
  • 1.JWT簡介 JSON Web Token(縮寫 JWT),是目前最流行的跨域認證解決方案。 2.JWT的原理 JWT的原理是,伺服器認證以後,生成一個JSON格式的對象,發回給客戶端,就像下麵這樣. 以後,客戶端與服務端通信的時候,都要發回這個 JSON 對象。伺服器完全只靠這個對象認定用戶身份 ...
  • 本篇基於centos7伺服器進行部署開發 代碼地址:https://github.com/chukaihong/docker-compose.喜歡的點個start 一.拉取redis鏡像,使用如下命令 1.查看鏡像是否拉取成功,使用如下命令 顯示如下則證明拉取成功 二.編寫docker-compos ...
  • 新聞 "FableConf門票開始販售" "Bolero的HTML模板支持熱載入" "Bolero從v0.4到v0.5的升級指南" "完整的SAFE Chat遷移至了Fable 2" "為純函數式3D圖形生成領域專用語言" "使用Roslyn分析器更快捷地寫出更好的代碼" 視頻及幻燈片 "介紹用F ...
  • 聲明引用的同時必須對其初始化,否則系統會報錯,所以我們是無法這樣使用 vector<int &> vec; 這條語句會報錯,同時引用不是定義一個新的變數或對象,因此記憶體不會為引用開闢新的空間存儲這個引用 而vector將無法開闢存儲空間。 參考博客: https://www.cnblogs.com/ ...
  • 使用Mybatis完成的CRUD操作 個人總結的一些小規律 學習過程中碰到的錯誤: 雖然報錯信息提示的 很明顯是sql語法報錯,不過我一時之間沒有沒有看出sql語句錯在哪裡,後來才發現是插入sql語句的括弧寫錯了,不是小括弧,而是大括弧 JavaBean類 dao層 配置文件 測試類 typeAli ...
一周排行
    -Advertisement-
    Play Games
  • .Net8.0 Blazor Hybird 桌面端 (WPF/Winform) 實測可以完整運行在 win7sp1/win10/win11. 如果用其他工具打包,還可以運行在mac/linux下, 傳送門BlazorHybrid 發佈為無依賴包方式 安裝 WebView2Runtime 1.57 M ...
  • 目錄前言PostgreSql安裝測試額外Nuget安裝Person.cs模擬運行Navicate連postgresql解決方案Garnet為什麼要選擇Garnet而不是RedisRedis不再開源Windows版的Redis是由微軟維護的Windows Redis版本老舊,後續可能不再更新Garne ...
  • C#TMS系統代碼-聯表報表學習 領導被裁了之後很快就有人上任了,幾乎是無縫銜接,很難讓我不想到這早就決定好了。我的職責沒有任何變化。感受下來這個系統封裝程度很高,我只要會調用方法就行。這個系統交付之後不會有太多問題,更多應該是做小需求,有大的開發任務應該也是第二期的事,嗯?怎麼感覺我變成運維了?而 ...
  • 我在隨筆《EAV模型(實體-屬性-值)的設計和低代碼的處理方案(1)》中介紹了一些基本的EAV模型設計知識和基於Winform場景下低代碼(或者說無代碼)的一些實現思路,在本篇隨筆中,我們來分析一下這種針對通用業務,且只需定義就能構建業務模塊存儲和界面的解決方案,其中的數據查詢處理的操作。 ...
  • 對某個遠程伺服器啟用和設置NTP服務(Windows系統) 打開註冊表 HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\W32Time\TimeProviders\NtpServer 將 Enabled 的值設置為 1,這將啟用NTP伺服器功 ...
  • title: Django信號與擴展:深入理解與實踐 date: 2024/5/15 22:40:52 updated: 2024/5/15 22:40:52 categories: 後端開發 tags: Django 信號 松耦合 觀察者 擴展 安全 性能 第一部分:Django信號基礎 Djan ...
  • 使用xadmin2遇到的問題&解決 環境配置: 使用的模塊版本: 關聯的包 Django 3.2.15 mysqlclient 2.2.4 xadmin 2.0.1 django-crispy-forms >= 1.6.0 django-import-export >= 0.5.1 django-r ...
  • 今天我打算整點兒不一樣的內容,通過之前學習的TransformerMap和LazyMap鏈,想搞點不一樣的,所以我關註了另外一條鏈DefaultedMap鏈,主要調用鏈為: 調用鏈詳細描述: ObjectInputStream.readObject() DefaultedMap.readObject ...
  • 後端應用級開發者該如何擁抱 AI GC?就是在這樣的一個大的浪潮下,我們的傳統的應用級開發者。我們該如何選擇職業或者是如何去快速轉型,跟上這樣的一個行業的一個浪潮? 0 AI金字塔模型 越往上它的整個難度就是職業機會也好,或者說是整個的這個運作也好,它的難度會越大,然後越往下機會就會越多,所以這是一 ...
  • @Autowired是Spring框架提供的註解,@Resource是Java EE 5規範提供的註解。 @Autowired預設按照類型自動裝配,而@Resource預設按照名稱自動裝配。 @Autowired支持@Qualifier註解來指定裝配哪一個具有相同類型的bean,而@Resourc... ...