搭建Redis集群

来源:https://www.cnblogs.com/wf-skylark/archive/2018/07/13/9307549.html
-Advertisement-
Play Games

為什麼要有集群 上一篇隨筆說了基本的主從概念以及搭建，一主可以有多從，如果同時訪問的量過大(1000w)或者發生自然災難,主服務肯定就會掛掉，數據服務就掛掉了 大公司都會有很多的伺服器(華東地區、華南地區、華中地區、華北地區、西北地區、西南地區、東北地區、台港澳地區機房) 集群的概念 集群是一組相互 ...


為什麼要有集群　

  • 上一篇隨筆說了基本的主從概念以及搭建，一主可以有多從，如果同時訪問的量過大(1000w)或者發生自然災難,主服務肯定就會掛掉，數據服務就掛掉了
  • 大公司都會有很多的伺服器(華東地區、華南地區、華中地區、華北地區、西北地區、西南地區、東北地區、台港澳地區機房)

集群的概念

  • 集群是一組相互獨立的、通過高速網路互聯的電腦，它們構成了一個組，並以單一系統的模式加以管理。一個客戶與集群相互作用時，集群像是一個獨立的伺服器。集群配置是用於提高可用性和可縮放性。 

　　　　

當請求到來首先由負載均衡伺服器處理，把請求轉發到另外的一臺伺服器上。

redis集群

  • 分類
    • 軟體層面
    • 硬體層面
  • 軟體層面：只有一臺電腦，在這一臺電腦上啟動了多個redis服務。

　　　　

  • 硬體層面：存在多台實體的電腦，每臺電腦上都啟動了一個redis或者多個redis服務。

　　　　

搭建集群

  • 當前擁有兩台主機172.16.179.130、172.16.179.131，這⾥的IP在使⽤時要改為實際值

參考閱讀

接下來我們開始搭建，大家可以跟著我一起搭建試試，關鍵步驟我都會貼出來：

配置機器1

  • 在演示中，172.16.179.130為當前ubuntu機器的ip
  • 在172.16.179.130上進⼊Desktop⽬錄，創建conf⽬錄

  • 在conf⽬錄下創建⽂件7000.conf，編輯內容如下

 

port 7000
bind 172.16.179.130
daemonize yes
pidfile 7000.pid
cluster-enabled yes
cluster-config-file 7000_node.conf
cluster-node-timeout 15000
appendonly yes
  • 在conf⽬錄下創建⽂件7001.conf，編輯內容如下
port 7001
bind 172.16.179.130
daemonize yes
pidfile 7001.pid
cluster-enabled yes
cluster-config-file 7001_node.conf
cluster-node-timeout 15000
appendonly yes
  • 在conf⽬錄下創建⽂件7002.conf，編輯內容如下
port 7002
bind 172.16.179.130
daemonize yes
pidfile 7002.pid
cluster-enabled yes
cluster-config-file 7002_node.conf
cluster-node-timeout 15000
appendonly yes

  • 總結：三個⽂件的配置區別在port、pidfile、cluster-config-file三項

  • 使⽤配置⽂件啟動redis服務

redis-server 7000.conf
redis-server 7001.conf
redis-server 7002.conf
  • 查看進程如下圖

　　

配置機器2

  • 在演示中，172.16.179.131為當前ubuntu機器的ip
  • 在172.16.179.131上進⼊Desktop⽬錄，創建conf⽬錄

  • 在conf⽬錄下創建⽂件7003.conf，編輯內容如下

port 7003
bind 172.16.179.131
daemonize yes
pidfile 7003.pid
cluster-enabled yes
cluster-config-file 7003_node.conf
cluster-node-timeout 15000
appendonly yes
  • 在conf⽬錄下創建⽂件7004.conf，編輯內容如下
port 7004
bind 172.16.179.131
daemonize yes
pidfile 7004.pid
cluster-enabled yes
cluster-config-file 7004_node.conf
cluster-node-timeout 15000
appendonly yes
  • 在conf⽬錄下創建⽂件7005.conf，編輯內容如下
port 7005
bind 172.16.179.131
daemonize yes
pidfile 7005.pid
cluster-enabled yes
cluster-config-file 7005_node.conf
cluster-node-timeout 15000
appendonly yes

  • 總結：三個⽂件的配置區別在port、pidfile、cluster-config-file三項，同上一臺機器

  • 使⽤配置⽂件啟動redis服務

redis-server 7003.conf
redis-server 7004.conf
redis-server 7005.conf
  • 查看進程如下圖 

　　

所以說，配置了一個第二個自然就可以水到渠成了，然後就是創建了

創建集群

  • redis的安裝包中包含了redis-trib.rb，⽤於創建集群
  • 接下來的操作在172.16.179.130機器上進⾏

  • 將命令複製，這樣可以在任何⽬錄下調⽤此命令

sudo cp /usr/share/doc/redis-tools/examples/redis-trib.rb /usr/local/bin/

  • 安裝ruby環境，因為redis-trib.rb是⽤ruby開發的

    sudo apt-get install ruby

  • 在提示信息處輸⼊y，然後回⻋繼續安裝 

　　

  • 運⾏如下命令創建集群
redis-trib.rb create --replicas 1 172.16.179.130:7000 172.16.179.130:7001 172.16.179.130:7002 172.16.179.131:7003 172.16.179.131:7004 172.16.179.131:7005

　

  • 執⾏上⾯這個指令在某些機器上可能會報錯,主要原因是由於安裝的 ruby 不是最 新版本!

  • 天朝的防⽕牆導致⽆法下載最新版本,所以需要設置 gem 的源

  • 解決辦法如下

-- 先查看⾃⼰的 gem 源是什麼地址
gem source -l -- 如果是https://rubygems.org/ 就需要更換
-- 更換指令為
gem sources --add https://gems.ruby-china.org/ --remove https://rubygems.org/
-- 通過 gem 安裝 redis 的相關依賴
sudo gem install redis
-- 然後重新執⾏指令

　　

redis-trib.rb create --replicas 1 172.16.179.130:7000 172.16.179.130:7001 172.16.179.130:7002 172.16.179.131:7003 172.16.179.131:7004 172.16.179.131:7005
  • 　　提示如下主從信息，輸⼊yes後回⻋ 

　　

  • 提示完成，集群搭建成功

數據驗證

  • 根據上圖可以看出，當前搭建的主伺服器為7000、7001、7003，對應的從伺服器是7004、7005、7002

  • 在172.16.179.131機器上連接7002，加參數-c表示連接到集群

    redis-cli -h 172.16.179.131 -c -p 7002

  • 寫⼊數據

    set name itheima

  • ⾃動跳到了7003伺服器，並寫⼊數據成功

　　

  • 在7003可以獲取數據，如果寫入數據又重定向到7000(負載均衡) 

　　

在哪個伺服器上寫數據：CRC16

  • redis cluster在設計的時候，就考慮到了去中⼼化，去中間件，也就是說，集群中 的每個節點都是平等的關係，都是對等的，每個節點都保存各⾃的數據和整個集 群的狀態。每個節點都和其他所有節點連接，⽽且這些連接保持活躍，這樣就保 證了我們只需要連接集群中的任意⼀個節點，就可以獲取到其他節點的數據
  • Redis集群沒有並使⽤傳統的⼀致性哈希來分配數據，⽽是採⽤另外⼀種叫做哈希 槽 (hash slot)的⽅式來分配的。redis cluster 預設分配了 16384 個slot，當我們 set⼀個key 時，會⽤CRC16演算法來取模得到所屬的slot，然後將這個key 分到哈 希槽區間的節點上，具體演算法就是：CRC16(key) % 16384。所以我們在測試的 時候看到set 和 get 的時候，直接跳轉到了7000端⼝的節點
  • Redis 集群會把數據存在⼀個 master 節點，然後在這個 master 和其對應的salve 之間進⾏數據同步。當讀取數據時，也根據⼀致性哈希演算法到對應的 master 節 點獲取數據。只有當⼀個master 掛掉之後，才會啟動⼀個對應的 salve 節點，充 當 master
  • 需要註意的是：必須要3個或以上的主節點，否則在創建集群時會失敗，並且當存 活的主節點數⼩於總節點數的⼀半時，整個集群就⽆法提供服務了

與Python交互

from rediscluster import *
if __name__ == '__main__':
  try:
    # 構建所有的節點，Redis會使⽤CRC16演算法，將鍵和值寫到某個節點上
    startup_nodes = [
        {'host': '192.168.26.128', 'port': '7000'},
        {'host': '192.168.26.130', 'port': '7003'},
        {'host': '192.168.26.128', 'port': '7001'},
    ]
    # 構建StrictRedisCluster對象
    src=StrictRedisCluster(startup_nodes=startup_nodes,decode_responses=True)
    # 設置鍵為name、值為skylark的數據
    result=src.set('name','skylark')
    print(result)
    # 獲取鍵為name
    name = src.get('name')
    print(name)
  except Exception as e:
    print(e)

　　

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 怎麼從Linux伺服器上下載超過4G的文件？
    使用sz命令下載文件時，超過4G下載不了，如何下載呢？ 本文介紹的方法是先對該文件進行拆分，拆分成多個小於4G的文件，然後分別下載，下載到本地後再進行合併或直接解壓，具體操作如下： 1.分拆為多個文件的命令： 命令解釋： workspace_20150624230059.tar.gz 是待下載的21 ...
  • 如何吧linux純命令行界面變為圖形界面
    使用版本為6.x 1， 連接網路 沒網路就下載不了哦 2，設置下yum源，我本機原來的yum源是網易的但是我用不了，我設置阿裡雲可以下載， 你們有這問題的可以試試 3， yum groupinstall "Desktop" -y -->安裝基本桌面系統 不過這個文件太大了！！！ 我這個網路。。。 。 ...
  • nginx 配置簡單網站項目（linux下）
    1.新建html2與html3兩個網站項目測試，而html是本身就有，記得到/etc/hosts 添加dns記錄 2.修改nginx.conf文件 3.測試訪問 中間用到一些nginx的命令，就不截圖，可以查看下麵 ****************************************** ...
  • Docker 搭建 ELK 收集並展示 tomcat 日誌
    架構 前端展示 索引搜索 日誌緩存 Elastash redis Waiting for set levelDesc [ERROR] [2018 06 30 17:41:56][com.iba.boss.pubsub.listener.core.ListenerTemplate]BmcLevelDe ...
  • Oracle資料庫從入門到精通 多表查詢知識以及範例
    視頻課程：李興華 Oracle從入門到精通視頻課程 學習者：陽光羅諾 視頻來源：51CTO學院 總體內容： 一、認識多表查詢 所謂的多表查詢就是同時從多張表中取出數據並且顯示的一種操作。語法只是做了一些簡單的修改。 語法格式： 於是我們就可以按照這樣子的語法結構來實現多表查詢。本次將會使用emp和d ...
  • Sql 基礎：編程理論 (一)
    SQL代表結構化查詢語言，是一種在關係資料庫系統中查詢和管理數據的標準語言。sql語句也有幾個類別，包括定義語言（DDL），數據操作語言（DML），數據控制語言（DCL）。 DDL包括create，alter,drop等語句，DML用於查詢和修改包括select,insert,update,dele ...
  • [20180713]關於hash join 測試中一個疑問.txt
    [20180713]關於hash join 測試中一個疑問.txt--//上個星期做的測試,鏈接: http://blog.itpub.net/267265/viewspace-2157424/--//前幾天在家裡12c上重覆測試,才發現自己沒註意細節問題.1.環境:SCOTT@test01p> @ ...
  • MySQL上機實習報告（一）
    這次上機實習其實是比較順利的，因為之前在上課時就已經下載安裝好了的，在課後也有自己試驗過。但是在實習時還是有一些小小的麻煩，在查看資料庫，輸入指令show databases時少打了一個‘s’,導致一直錯誤，問了同學也沒解決，後面到網上查閱時才發現了這個問題。另外，在上機時，因為粗心將指令打錯而導致... ...
一周排行
    -Advertisement-
    Play Games
  • .NET 6 Entity Framework Core Db First（1） 創建模型
    .Net8.0 Blazor Hybird 桌面端 (WPF/Winform) 實測可以完整運行在 win7sp1/win10/win11. 如果用其他工具打包,還可以運行在mac/linux下, 傳送門BlazorHybrid 發佈為無依賴包方式 安裝 WebView2Runtime 1.57 M ...
  • 資料庫升級PostgreSql+Garnet
    目錄前言PostgreSql安裝測試額外Nuget安裝Person.cs模擬運行Navicate連postgresql解決方案Garnet為什麼要選擇Garnet而不是RedisRedis不再開源Windows版的Redis是由微軟維護的Windows Redis版本老舊，後續可能不再更新Garne ...
  • 如何基於surging架設流媒體視頻推流（視頻講解）
    C#TMS系統代碼-聯表報表學習 領導被裁了之後很快就有人上任了，幾乎是無縫銜接，很難讓我不想到這早就決定好了。我的職責沒有任何變化。感受下來這個系統封裝程度很高，我只要會調用方法就行。這個系統交付之後不會有太多問題，更多應該是做小需求，有大的開發任務應該也是第二期的事，嗯？怎麼感覺我變成運維了？而 ...
  • EAV模型（實體-屬性-值）的設計和低代碼的處理方案（2）--數據的查詢處理
    我在隨筆《EAV模型（實體-屬性-值）的設計和低代碼的處理方案（1）》中介紹了一些基本的EAV模型設計知識和基於Winform場景下低代碼（或者說無代碼）的一些實現思路，在本篇隨筆中，我們來分析一下這種針對通用業務，且只需定義就能構建業務模塊存儲和界面的解決方案，其中的數據查詢處理的操作。 ...
  • C# 程式集、模塊和類型概念及關係
    對某個遠程伺服器啟用和設置NTP服務(Windows系統) 打開註冊表 HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\W32Time\TimeProviders\NtpServer 將 Enabled 的值設置為 1，這將啟用NTP伺服器功 ...
  • Django信號與擴展：深入理解與實踐
    title: Django信號與擴展：深入理解與實踐 date: 2024/5/15 22:40:52 updated: 2024/5/15 22:40:52 categories: 後端開發 tags: Django 信號 松耦合 觀察者 擴展 安全 性能 第一部分：Django信號基礎 Djan ...
  • Django3.2安裝源碼xadmin2步驟以及遇到的問題
    使用xadmin2遇到的問題&解決 環境配置： 使用的模塊版本： 關聯的包 Django 3.2.15 mysqlclient 2.2.4 xadmin 2.0.1 django-crispy-forms >= 1.6.0 django-import-export >= 0.5.1 django-r ...
  • 原創->CommonsCollections1-DefaultMap鏈
    今天我打算整點兒不一樣的內容，通過之前學習的TransformerMap和LazyMap鏈，想搞點不一樣的，所以我關註了另外一條鏈DefaultedMap鏈，主要調用鏈為： 調用鏈詳細描述： ObjectInputStream.readObject() DefaultedMap.readObject ...
  • 05-應用級開發者 AI 時代破局點
    後端應用級開發者該如何擁抱 AI GC？就是在這樣的一個大的浪潮下，我們的傳統的應用級開發者。我們該如何選擇職業或者是如何去快速轉型，跟上這樣的一個行業的一個浪潮? 0 AI金字塔模型 越往上它的整個難度就是職業機會也好，或者說是整個的這個運作也好,它的難度會越大,然後越往下機會就會越多,所以這是一 ...
  • Java面試題：讓依賴註入變得簡單，面對@Autowired和@Resource，該如何選擇？
    @Autowired是Spring框架提供的註解，@Resource是Java EE 5規範提供的註解。 @Autowired預設按照類型自動裝配，而@Resource預設按照名稱自動裝配。 @Autowired支持@Qualifier註解來指定裝配哪一個具有相同類型的bean，而@Resourc... ...
所有分類