關於redis中的字元串對象

来源:http://www.cnblogs.com/chenpingzhao/archive/2016/02/01/5176571.html
-Advertisement-
Play Games

一、SDS redis中定義Object types有5種 /* Object types */ #define REDIS_STRING 0 #define REDIS_LIST 1 #define REDIS_SET 2 #define REDIS_ZSET 3 #define REDIS_HA


一、SDS

redis中定義Object types有5種

/* Object types */
#define REDIS_STRING 0
#define REDIS_LIST 1
#define REDIS_SET 2
#define REDIS_ZSET 3
#define REDIS_HASH 4

Objects encoding有9種 

#define REDIS_ENCODING_RAW 0     /* Raw representation */
#define REDIS_ENCODING_INT 1     /* Encoded as integer */
#define REDIS_ENCODING_HT 2      /* Encoded as hash table */
#define REDIS_ENCODING_ZIPMAP 3  /* Encoded as zipmap */
#define REDIS_ENCODING_LINKEDLIST 4 /* Encoded as regular linked list */
#define REDIS_ENCODING_ZIPLIST 5 /* Encoded as ziplist */
#define REDIS_ENCODING_INTSET 6  /* Encoded as intset */
#define REDIS_ENCODING_SKIPLIST 7  /* Encoded as skiplist */
#define REDIS_ENCODING_EMBSTR 8  /* Embedded sds string encoding */

關於SDS的結構,在sds.h文件中定義

struct sdshdr {
    int len;// 記錄buf數組中已使用位元組的數量,等於SDS所保存字元串的長度
    int free;//記錄buf數組中未使用位元組的數量
    char buf[]; // 位元組數組,用於保存字元串
};

這個與C中定義有一些區別

1、對於運算或者連接(strcat)等的時候,不需要每次都擴展字元串(空間換時間),這樣對記憶體可以大量的記憶體分配;還可以避免緩衝區的溢出,

2、strlen計算長度的時候時間複雜度是O(n),而這裡直接記錄,時間複雜度為1

3、SDS遵循C字元串以空字元結尾(\0)的慣例,遵循這一慣例SDS可以直接重用一部分C字元串函數庫裡面的函數

二、對象類型

/* A redis object, that is a type able to hold a string / list / set */
  
/* The actual Redis Object */
#define REDIS_LRU_BITS 24
#define REDIS_LRU_CLOCK_MAX ((1<<REDIS_LRU_BITS)-1) /* Max value of obj->lru */
#define REDIS_LRU_CLOCK_RESOLUTION 1000 /* LRU clock resolution in ms */
typedef struct redisObject {
    unsigned type:4;//(REDIS_STRING,REDIS_LIST,REDIS_HASH,REDIS_SET,REDIS_ZSET)
    unsigned encoding:4; // 1
    unsigned lru:REDIS_LRU_BITS; //記憶體緊張的時候使用
    int refcount;
    void *ptr;//數據指針,例如:10086
} robj;

redis 中定義了 struct redisObject,它是一個簡單優秀的數據結構,因為在 redisObject 中數據屬性和數據分開來了,其中,數據屬性包括數據類型,存儲編碼方式,淘汰時鐘,引用計數

淘汰時鐘,redis 對數據集占用記憶體的大小有「實時」的計算,當超出限額時,會淘汰超時的數據。

引用計數,一個 redis 對象可能被多個指針引用。當需要增加或者減少引用的時候,必須調用相應的函數,程式員必須遵守這一准則

// 增加 redis 對象引用
void incrRefCount(robj *o) {
    o->refcount++;
}

// 減少 redis 對象引用。特別的,引用為零的時候會銷毀對象
void decrRefCount(robj *o) {
    if (o->refcount <= 0) redisPanic("decrRefCount against refcount <= 0");

    // 如果取消的是最後一個引用,則釋放資源
    if (o->refcount == 1) {
        // 不同數據類型,銷毀操作不同
        switch(o->type) {
        case REDIS_STRING: freeStringObject(o); break;
        case REDIS_LIST: freeListObject(o); break;
        case REDIS_SET: freeSetObject(o); break;
        case REDIS_ZSET: freeZsetObject(o); break;
        case REDIS_HASH: freeHashObject(o); break;
        default: redisPanic("Unknown object type"); break;
        }
        zfree(o);
    } else {
        o->refcount--;
    }
}

字元串對象底層數據結構當然可以全部是SDS,但是在某些場景下SDS可能不是最優解

三、字元串對象編碼

可以是 int 、 raw 或者 embstr

A、整形

如果一個字元串對象保存的是整數值,並且這個整數值可以用long類型來表示,那麼字元串對象會將整數值保存在字元串對象結構的ptr屬性裡面(將void*轉換成long),並將字元串對象的編碼設置為int

相對於SDS優勢在於 1、節省記憶體 2、對於整數值的字元串對象可能會被執行INCR操作,SDS需要先將字元串轉成整形,在執行加減操作,再將結果轉成字元串保存如果底層保存一個整形變數就不需要做類型轉換了

B、字元串值

如果字元串對象保存的是一個字元串值, 並且這個字元串值的長度大於 39 位元組, 那麼字元串對象將使用一個簡單動態字元串(SDS)來保存這個字元串值, 並將對象的編碼設置為 raw

如果字元串對象保存的是一個字元串值, 並且這個字元串值的長度小於等於 39 位元組, 那麼字元串對象將使用 embstr 編碼的方式來保存這個字元串值

embstr與sdshdr區別

embstr 編碼是專門用於保存短字元串的一種優化編碼方式, 這種編碼和 raw 編碼一樣, 都使用 redisObject 結構和 sdshdr 結構來表示字元串對象

raw 編碼會調用兩次記憶體分配函數來分別創建 redisObject 結構和 sdshdr 結構, 而 embstr 編碼則通過調用一次記憶體分配函數來分配一塊連續的空間, 空間中依次包含 redisObject 和 sdshdr 兩個結構、

embstr 有以下好處

  • embstr 編碼將創建字元串對象所需的記憶體分配次數從 raw 編碼的兩次降低為一次

  • 釋放 embstr 編碼的字元串對象只需要調用一次記憶體釋放函數, 而釋放 raw 編碼的字元串對象需要調用兩次記憶體釋放函數

  • 因為 embstr 編碼的字元串對象的所有數據都保存在一塊連續的記憶體裡面, 所以這種編碼的字元串對象比起 raw 編碼的字元串對象能夠更好地利用緩存帶來的優勢

四、編碼的轉換

int 編碼的字元串對象和 embstr 編碼的字元串對象在條件滿足的情況下, 會被轉換為 raw 編碼的字元串對象。

對於 int 編碼的字元串對象來說, 如果我們向對象執行了一些命令, 使得這個對象保存的不再是整數值, 而是一個字元串值, 那麼字元串對象的編碼將從 int 變為 raw 。

在下麵的示例中, 我們通過 APPEND 命令, 向一個保存整數值的字元串對象追加了一個字元串值, 因為追加操作只能對字元串值執行, 所以程式會先將之前保存的整數值 10086 轉換為字元串值 "10086" , 然後再執行追加操作, 操作的執行結果就是一個 raw 編碼的、保存了字元串值的字元串對象:

redis> SET number 10086
OK

redis> OBJECT ENCODING number
"int"

redis> APPEND number " is a good number!"
(integer) 23

redis> GET number
"10086 is a good number!"

redis> OBJECT ENCODING number
"raw"

另外, 因為 Redis 沒有為 embstr 編碼的字元串對象編寫任何相應的修改程式 (只有 int 編碼的字元串對象和 raw 編碼的字元串對象有這些程式), 所以 embstr 編碼的字元串對象實際上是只讀的: 當我們對 embstr 編碼的字元串對象執行任何修改命令時, 程式會先將對象的編碼從 embstr 轉換成 raw , 然後再執行修改命令; 因為這個原因, embstr 編碼的字元串對象在執行修改命令之後, 總會變成一個 raw 編碼的字元串對象。

以下代碼展示了一個 embstr 編碼的字元串對象在執行 APPEND 命令之後, 對象的編碼從 embstr 變為 raw 的例子:

redis> SET msg "hello world"
OK

redis> OBJECT ENCODING msg
"embstr"

redis> APPEND msg " again!"
(integer) 18

redis> OBJECT ENCODING msg
"raw"

五、字元串命令的實現

因為字元串鍵的值為字元串對象, 所以用於字元串鍵的所有命令都是針對字元串對象來構建的, 表 8-7 列舉了其中一部分字元串命令, 以及這些命令在不同編碼的字元串對象下的實現方法

命令        int 編碼的實現方法embstr 編碼的實現方法raw 編碼的實現方法
SET 使用 int 編碼保存值。 使用 embstr 編碼保存值。 使用 raw 編碼保存值。
GET 拷貝對象所保存的整數值, 將這個拷貝轉換成字元串值, 然後向客戶端返回這個字元串值。 直接向客戶端返回字元串值。 直接向客戶端返回字元串值。
APPEND 將對象轉換成 raw 編碼, 然後按raw 編碼的方式執行此操作。 將對象轉換成 raw 編碼, 然後按raw 編碼的方式執行此操作。 調用 sdscatlen 函數, 將給定字元串追加到現有字元串的末尾。
INCRBYFLOAT 取出整數值並將其轉換成 longdouble 類型的浮點數, 對這個浮點數進行加法計算, 然後將得出的浮點數結果保存起來。 取出字元串值並嘗試將其轉換成long double 類型的浮點數, 對這個浮點數進行加法計算, 然後將得出的浮點數結果保存起來。 如果字元串值不能被轉換成浮點數, 那麼向客戶端返回一個錯誤。 取出字元串值並嘗試將其轉換成 longdouble 類型的浮點數, 對這個浮點數進行加法計算, 然後將得出的浮點數結果保存起來。 如果字元串值不能被轉換成浮點數, 那麼向客戶端返回一個錯誤。
INCRBY 對整數值進行加法計算, 得出的計算結果會作為整數被保存起來。 embstr 編碼不能執行此命令, 向客戶端返回一個錯誤。 raw 編碼不能執行此命令, 向客戶端返回一個錯誤。
DECRBY 對整數值進行減法計算, 得出的計算結果會作為整數被保存起來。 embstr 編碼不能執行此命令, 向客戶端返回一個錯誤。 raw 編碼不能執行此命令, 向客戶端返回一個錯誤。
STRLEN 拷貝對象所保存的整數值, 將這個拷貝轉換成字元串值, 計算並返回這個字元串值的長度。 調用 sdslen 函數, 返回字元串的長度。 調用 sdslen 函數, 返回字元串的長度。
SETRANGE 將對象轉換成 raw 編碼, 然後按raw 編碼的方式執行此命令。 將對象轉換成 raw 編碼, 然後按raw 編碼的方式執行此命令。 將字元串特定索引上的值設置為給定的字元。
GETRANGE 拷貝對象所保存的整數值, 將這個拷貝轉換成字元串值, 然後取出並返回字元串指定索引上的字元。 直接取出並返回字元串指定索引上的字元。 直接取出並返回字元串指定索引上的字元。

六、embstr為什麼是39 

這要從記憶體分配說起了,embstr是一塊連續的記憶體區域,由redisObject和sdshdr組成

使用info查看,redis的記憶體分配方式為:mem_allocator:jemalloc-3.6.0(redis 2.4以後),這個比glibc的malloc要好不少,節省記憶體。在這裡可以簡單理解,jemalloc會分配8,16,32,64等位元組的記憶體

再看一下結構體

typedef struct redisObject {
    unsigned type:4;
    unsigned encoding:4;
    unsigned lru:REDIS_LRU_BITS; /* lru time (relative to server.lruclock) */
    int refcount;
    void *ptr;
} robj;
struct sdshdr {
    unsigned int len;
    unsigned int free;
    char buf[];
};

redisObject 占(4+4+24)/4+4+4 = 16 位元組,sdshdr為8+1 +一個不固定的值(這裡的1是指\0),那麼64-25 = 39 ,這樣39就來了


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • dos中MySQL安裝服務成功--啟動服務成功--登錄MySQL成功後輸入:select version(); 如圖:
  • 之前現場反饋一個數據更新的問題,查看感覺是因為表空間滿了導致的(錯誤在之前的博客隨筆中寫過),因此遠程對伺服器進行查看。個人平常都是通過Oracle客戶端的Entreprise Manager Console進行查看的,但是發現伺服器上只安裝了Oracle服務端並且不能正常進行網頁登錄查看。 因此到
  • mysql,數據類型優先順序,不同類型比較
  • 版本是:Mongodb 3.2.1 本來是想用python做個爬蟲然後爬取一些數據放到資料庫上的,想著想著以為NoSQL會很流行,就用了Mongodb,結果,一折騰真是不容易。 遇到的第一個問題:官網上下載還有安裝什麼的就不說了。之後就遇到了Mongodb閃退的問題,沒有理,百度找資料直接做,把Mo
  • 關聯規則的目的就是在一個數據集中找出項與項之間的關係,適用於在大數量的項集中發現關聯共現的項。也被稱為購物籃分析 (Market Basket analysis),因為“購物籃分析”很貼切的表達了適用該演算法情景中的一個子集。購物網站里你買了一個商品,旁邊列出一系列買過該商品的人還買的其他商品,並且按...
  • 大數據的出現,為 Data Warehouse 提供了一個互補的機會,而不是要取代後者 (讀書筆記)
  • 原文:http://www.cnblogs.com/dudu/archive/2011/10/15/sql_server_recover_deleted_records.html SQL Server中誤刪除數據的恢複本來不是件難事,從事務日誌恢復即可。但是,這個恢復需要有兩個前提條件: 1. 至少
  • 場景:連接DB2資料庫的,jdbc的連接字元串中沒有給當前的數據源用戶指定預設的schema,而當前的數據源用戶下可能有多個schema,則會使用數據源用戶預設的schema. 例如:admin用戶的預設shema是admin,但是我們需要連接的schema是db2inst1,這時候,使用sql操作
一周排行
    -Advertisement-
    Play Games
  • Timer是什麼 Timer 是一種用於創建定期粒度行為的機制。 與標準的 .NET System.Threading.Timer 類相似,Orleans 的 Timer 允許在一段時間後執行特定的操作,或者在特定的時間間隔內重覆執行操作。 它在分散式系統中具有重要作用,特別是在處理需要周期性執行的 ...
  • 前言 相信很多做WPF開發的小伙伴都遇到過表格類的需求,雖然現有的Grid控制項也能實現,但是使用起來的體驗感並不好,比如要實現一個Excel中的表格效果,估計你能想到的第一個方法就是套Border控制項,用這種方法你需要控制每個Border的邊框,並且在一堆Bordr中找到Grid.Row,Grid. ...
  • .NET C#程式啟動閃退,目錄導致的問題 這是第2次踩這個坑了,很小的編程細節,容易忽略,所以寫個博客,分享給大家。 1.第一次坑:是windows 系統把程式運行成服務,找不到配置文件,原因是以服務運行它的工作目錄是在C:\Windows\System32 2.本次坑:WPF桌面程式通過註冊表設 ...
  • 在分散式系統中,數據的持久化是至關重要的一環。 Orleans 7 引入了強大的持久化功能,使得在分散式環境下管理數據變得更加輕鬆和可靠。 本文將介紹什麼是 Orleans 7 的持久化,如何設置它以及相應的代碼示例。 什麼是 Orleans 7 的持久化? Orleans 7 的持久化是指將 Or ...
  • 前言 .NET Feature Management 是一個用於管理應用程式功能的庫,它可以幫助開發人員在應用程式中輕鬆地添加、移除和管理功能。使用 Feature Management,開發人員可以根據不同用戶、環境或其他條件來動態地控制應用程式中的功能。這使得開發人員可以更靈活地管理應用程式的功 ...
  • 在 WPF 應用程式中,拖放操作是實現用戶交互的重要組成部分。通過拖放操作,用戶可以輕鬆地將數據從一個位置移動到另一個位置,或者將控制項從一個容器移動到另一個容器。然而,WPF 中預設的拖放操作可能並不是那麼好用。為瞭解決這個問題,我們可以自定義一個 Panel 來實現更簡單的拖拽操作。 自定義 Pa ...
  • 在實際使用中,由於涉及到不同編程語言之間互相調用,導致C++ 中的OpenCV與C#中的OpenCvSharp 圖像數據在不同編程語言之間難以有效傳遞。在本文中我們將結合OpenCvSharp源碼實現原理,探究兩種數據之間的通信方式。 ...
  • 一、前言 這是一篇搭建許可權管理系統的系列文章。 隨著網路的發展,信息安全對應任何企業來說都越發的重要,而本系列文章將和大家一起一步一步搭建一個全新的許可權管理系統。 說明:由於搭建一個全新的項目過於繁瑣,所有作者將挑選核心代碼和核心思路進行分享。 二、技術選擇 三、開始設計 1、自主搭建vue前端和. ...
  • Csharper中的表達式樹 這節課來瞭解一下表示式樹是什麼? 在C#中,表達式樹是一種數據結構,它可以表示一些代碼塊,如Lambda表達式或查詢表達式。表達式樹使你能夠查看和操作數據,就像你可以查看和操作代碼一樣。它們通常用於創建動態查詢和解析表達式。 一、認識表達式樹 為什麼要這樣說?它和委托有 ...
  • 在使用Django等框架來操作MySQL時,實際上底層還是通過Python來操作的,首先需要安裝一個驅動程式,在Python3中,驅動程式有多種選擇,比如有pymysql以及mysqlclient等。使用pip命令安裝mysqlclient失敗應如何解決? 安裝的python版本說明 機器同時安裝了 ...