Cassandra簡單介紹和二進位安裝

来源:https://www.cnblogs.com/Sungeek/archive/2020/03/30/12599552.html
-Advertisement-
Play Games

Cassandra簡介： Apache Cassandra最初由Facebook開發，用於儲存收件箱等簡單格式數據，集GoogleBigTable的數據模型與Amazon Dynamo的完全分散式的架構於一身Facebook於2008將 Cassandra 開源， Apache Cassandra是 ...


Cassandra簡介：

Apache Cassandra最初由Facebook開發，用於儲存收件箱等簡單格式數據，集GoogleBigTable的數據模型與Amazon Dynamo的完全分散式的架構於一身Facebook於2008將 Cassandra 開源，

Apache Cassandra是一個高度可擴展的高性能分散式資料庫，用於處理大量商用伺服器上的大量數據，提供高可用性，無單點故障，是一種NoSQL類型的資料庫。 

由於Cassandra良好的可擴展性，被Digg、Twitter等知名Web 2.0網站所採納，成為了一種流行的分散式結構化數據存儲方案。

Cassandra特點：

Cassandra因其卓越的技術特性而變得如此受歡迎。下麵給出了Cassandra的一些特性：

  • 彈性可擴展性 - Cassandra是高度可擴展的; 它允許添加更多的硬體以適應更多的客戶和更多的數據根據要求。

  • 始終基於架構 - Cassandra沒有單點故障，它可以連續用於不能承擔故障的關鍵業務應用程式。

  • 快速線性性能 - Cassandra是線性可擴展性的，即它為你增加集群中的節點數量增加你的吞吐量。因此，保持一個快速的響應時間。

  • 靈活的數據存儲 - Cassandra適應所有可能的數據格式，包括：結構化，半結構化和非結構化。它可以根據您的需要動態地適應變化的數據結構。

  • 便捷的數據分發 - Cassandra通過在多個數據中心之間複製數據，可以靈活地在需要時分發數據。

  • 事務支持 - Cassandra支持屬性，如原子性，一致性，隔離和持久性（ACID）。

  • 快速寫入 - Cassandra被設計為在廉價的商品硬體上運行。 它執行快速寫入，並可以存儲數百TB的數據，而不犧牲讀取效率。

Cassandra架構：

Cassandra的設計目的是處理跨多個節點的大數據工作負載，而沒有任何單點故障。

Cassandra在其節點之間具有對等分散式系統，並且數據分佈在集群中的所有節點之間。

  • 集群中的所有節點都扮演相同的角色。 每個節點是獨立的，並且同時互連到其他節點。

  • 集群中的每個節點都可以接受讀取和寫入請求，無論數據實際位於集群中的何處。

  • 當節點關閉時，可以從網路中的其他節點提供讀/寫請求。

Cassandra中的數據複製

在Cassandra中，集群中的一個或多個節點充當給定數據片段的副本。

如果檢測到一些節點以過期值響應，Cassandra將向客戶端返回最近的值。

返回最新的值後，Cassandra在後臺執行讀修複以更新失效值。

下圖顯示了Cassandra如何在集群中的節點之間使用數據複製，以確保沒有單點故障的示意圖。

 註 - Cassandra在後臺使用Gossip協議，允許節點相互通信並檢測集群中的任何故障節點。

Gossip協議是一個通信協議，一種傳播消息的方式，靈感來自於：瘟疫、社交網路等。

使用Gossip協議的有：Redis Cluster、Consul、Apache Cassandra等。

Cassandra的組件：

Cassandra的關鍵組件如下：

  • 節點 - 它是存儲數據的地方。

  • 數據中心 - 它是相關節點的集合。

  • 集群 - 集群是包含一個或多個數據中心的組件。

  • 提交日誌 - 提交日誌是Cassandra中的崩潰恢復機制。每個寫操作都寫入提交日誌。

  • Mem-表 - mem-表是存儲器駐留的數據結構。提交日誌後，數據將被寫入mem表。有時，對於單列族，將有多個mem表。

  • SSTable - 它是一個磁碟文件，當其內容達到閾值時，數據從mem表中刷新。

  • 布隆過濾器 - 這些只是快速，非確定性的演算法，用於測試元素是否是集合的成員。它是一種特殊的緩存。 每次查詢後訪問Bloom過濾器。

JAVA&Cassandra安裝：

環境條件：

  • Cassandra 3.0及更高版本需要Java 8u40或更高版本。
  • Java 8的最新版本，即Oracle Java Standard Edition 8或OpenJDK 8。要驗證您是否安裝了正確的Java版本，請輸入。java -version
  • 對於使用cqlsh，最新版本的Python 2.7。要驗證您是否安裝了正確的Python版本，請輸入。python --version

創建用戶和組：

在開始時，建議為Cassandra創建一個單獨的用戶，這樣可以不使用root達到許可權隔離。

[root@tse3 Cassandra]# /usr/sbin/groupadd -g 10001 cassandra
[root@tse3 Cassandra]# /usr/sbin/useradd -u 10001 -g cassandra cassandra
[root@tse3 Cassandra]# id cassandra
uid=10001(cassandra) gid=10001(cassandra) groups=10001(cassandra)
[root@tse3 Cassandra]# passwd cassandra
[root@tse3 Cassandra]# chown -R cassandra:cassandra /Cassandra
[root@tse3 Cassandra]# chmod -R 775 /Cassandra

SSH設置和密鑰生成：

需要SSH設置才能在集群上執行不同的操作，例如啟動，停止和分散式守護程式shell操作。

要對Cassandra的不同用戶進行身份驗證，需要為Cassandra用戶提供公鑰/私鑰對，並與不同的用戶共用。

以下命令用於使用SSH生成鍵值對：

  • 將公共密鑰表單id_rsa.pub複製到authorized_keys，
  • 並提供所有者，
  • 分別對authorized_keys文件的讀寫許可權。
[root@tse3 Cassandra]# ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa): 
Created directory '/root/.ssh'.
Enter passphrase (empty for no passphrase): 
Enter same passphrase again: 
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
SHA256:PEWPzRcxD/BVBiuJTHdMtqtlp7O7uqSpBTQ8HSpsqQw root@tse3
The key's randomart image is:
+---[RSA 2048]----+
|          + o+Xo=|
|     . o * O =.X |
|  E   = * * * = .|
|   o o + +   o . |
|    o   S     + .|
|         o   + o |
|          . o o  |
|         . +   o |
|        ..o oo+o |
+----[SHA256]-----+
[root@tse3 .ssh]# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
[root@tse3 .ssh]# chmod 775 ~/.ssh/authorized_keys

驗證SSH：

[root@tse3 .ssh]# ssh localhost

安裝JAVA環境：

Java是Cassandra的主要先決條件。 首先，您應該使用以下命令驗證系統中是否存在Java：

[root@tse3 ~]# java -version
-bash: java: command not found

如果您的系統中沒有Java，請按照以下步驟安裝Java。

以下鏈接下載JDK8：https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html

Cassandra 3.0及更高版本需要Java 8u40或更高版本

我這邊下載了最新版的：jdk-8u241-linux-x64.tar.gz

我這邊是下載了tar包上傳到伺服器，因為伺服器下載速度太慢了

[root@tse3 downloads]# wget https://download.oracle.com/otn-pub/java/jdk/14+36/076bab302c7b4508975440c56f6cc26a/jdk-14_linux-x64_bin.tar.gz

下載好的包，解壓：

[root@tse3 downloads]# tar -zxvf jdk-8u241-linux-x64.tar.gz

移動jdk到/usr/local下麵，對所有用戶可用：

[root@tse3 downloads]# mv jdk1.8.0_241 /usr/local/

要設置PATH和JAVA_HOME變數：

export JAVA_HOME=/usr/local/jdk1.8.0_241
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JRE_HOME=$JAVA_HOME/jre

將更改生效：

[root@tse3 lib]# source ~/.bash_profile

輸入命令查詢java版本，出現如下代表裝成功：

[root@tse3 bin]# java -version
java version "1.8.0_241"
Java(TM) SE Runtime Environment (build 1.8.0_241-b07)
Java HotSpot(TM) 64-Bit Server VM (build 25.241-b07, mixed mode)

 

安裝Cassandra：

先創建相關目錄

[root@tse3 /]# mkdir -p /var/lib/cassandra/{data,commitlog,saved_caches}
設置讀寫許可權：
[root@tse3 /]# chmod 777 /var/lib/cassandra
[root@tse3 /]# chmod 777 /var/log/cassandra
[root@tse3 /]# chown -R cassandra:cassandra /cassandra/
[root@tse3 /]# chmod -R 777 /cassandra/

設置環境變數

[root@tse3 bin]# vim ~/.bash_profile 
export CASSANDRA_HOME=/cassandra
export PATH=$PATH:$CASSANDRA_HOME/bin
[root@tse3 bin]# source ~/.bash_profile

1、先從官方網站獲取最新的tar包，我這裡是按照3.11版本，已經獲取到地址了

[root@tse3 downloads]# wget https://www.apache.org/dyn/closer.lua/cassandra/3.11.6/apache-cassandra-3.11.6-bin.tar.gz

2、解壓下載的tar包

[root@tse3 downloads]# tar -zxvf apache-cassandra-3.11.6-bin.tar.gz

3、創建一個Cassandra目錄，然後移動數據到這個目錄下

[root@tse3 downloads]# mv apache-cassandra-3.11.6/* /cassandra/

配置Cassandra：

註意：如果您從deb或rpm包安裝了Cassandra，配置文件將位於Cassandra的/etc/cassandra目錄中。

我的是二進位安裝方法，所以配置文件在/conf裡面。

用vi或者vim打開cassandra.yaml文件。驗證以下配置。 預設情況下，這些值將設置為指定的目錄。

[root@tse3 conf]# vim cassandra.yaml 
[root@tse3 conf]# pwd
/Cassandra/conf

#存儲數據的目錄，如果未設置則預設目錄為$CASSANDRA_HOME/data/data.
data_file_directories:
     - /var/lib/cassandra/data
#提交日誌，如果未設置，則預設目錄為$CASSANDRA_HOME/data/commitlog.
commitlog_directory: /var/lib/cassandra/commitlog
#保存緩存，如果未設置，預設目錄$CASSANDRA_HOME/data/saved_caches.
saved_caches_directory: /var/lib/cassandra/saved_caches
cluster_name：集群的名稱。
seeds：用逗號分隔的群集種子IP地址列表。
storage_port註意：您不一定需要更改此設置，但請確保沒有防火牆阻止此埠。
listen_address：節點的IP地址，這是允許其他節點與此節點通信的地址，因此更改它很重要。或者，您可以設置listen_interface告訴Cassandra使用哪個介面，以及連續使用哪個地址。僅設置一個，而不要同時設置兩個。
native_transport_port：對於storage_port，請確保此埠未被防火牆阻止，因為客戶端將在此埠上與Cassandra通信。
data_file_directories：數據文件所在的一個或多個目錄。
commitlog_directory：提交日誌文件所在的目錄。
saved_caches_directory：保存的緩存所在的目錄。
hints_directory：提示所在的目錄。
出於性能原因，如果您有多個磁碟，請考慮將提交日誌和數據文件放在不同的磁碟上。

啟動Cassandra：

進入Cassandra主目錄

[root@tse3 bin]# pwd
/cassandra/bin
[root@tse3 bin]# cassandra -f -R

 

CQLSH使用連接測試：

cqlsh是用於通過CQL（Cassandra查詢語言）與Cassandra交互的命令行外殼。

它隨每個Cassandra軟體包一起提供，可以在cassandra可執行文件旁邊的bin/目錄中找到。

cqlsh利用Python本機協議驅動程式，並連接到命令行上指定的單個節點。

使用cqlsh，你可以

  • 定義模式，
  • 插入數據，
  • 執行查詢。
[root@tse3 bin]# cqlsh
Connected to Test Cluster at 127.0.0.1:9042.
[cqlsh 5.0.1 | Cassandra 3.11.6 | CQL spec 3.4.4 | Native protocol v4]
Use HELP for help.
cqlsh>

記錄的Shell命令

下麵給出了Cqlsh記錄的shell命令。這些是用於執行任務的命令，如顯示幫助主題，退出cqlsh，描述等。

  • HELP -顯示所有cqlsh命令的幫助主題。

  • CAPTURE -捕獲命令的輸出並將其添加到文件。

  • CONSISTENCY -顯示當前一致性級別，或設置新的一致性級別。

  • COPY -將數據複製到Cassandra並從Cassandra複製數據。

  • DESCRIBE -描述Cassandra及其對象的當前集群。

  • EXPAND -縱向擴展查詢的輸出。

  • EXIT -使用此命令，可以終止cqlsh。

  • PAGING -啟用或禁用查詢分頁。

  • SHOW -顯示當前cqlsh會話的詳細信息，如Cassandra版本，主機或數據類型假設。

  • SOURCE -執行包含CQL語句的文件。

  • TRACING -啟用或禁用請求跟蹤。

CQL數據定義命令

  • CREATE KEYSPACE -在Cassandra中創建KeySpace。

  • USE -連接到已創建的KeySpace。

  • ALTER KEYSPACE -更改KeySpace的屬性。

  • DROP KEYSPACE -刪除KeySpace。

  • CREATE TABLE -在KeySpace中創建表。

  • ALTER TABLE -修改表的列屬性。

  • DROP TABLE -刪除表。

  • TRUNCATE -從表中刪除所有數據。

  • CREATE INDEX -在表的單個列上定義新索引。

  • DROP INDEX -刪除命名索引。

CQL數據操作指令

  • INSERT -在表中添加行的列。

  • UPDATE -更新行的列。

  • DELETE -從表中刪除數據。

  • BATCH -一次執行多個DML語句。

CQL字句

  • SELECT -此子句從表中讀取數據

  • WHERE -where子句與select一起使用以讀取特定數據。

  • ORDERBY -orderby子句與select一起使用，以特定順序讀取特定數據。

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 收藏 | 15 個你非瞭解不可的 Linux 特殊字元，媽媽再也不用擔心我看不懂這些符號了！
    不知道大家接觸 Linux 系統有多久了，可曾瞭解過 Linux 中有哪些特殊的字元呢？其實啊，那些特殊字元都大有用處呢，今天的文章就給大家簡單地科普一下 Linux 中你需要瞭解的 15 個特殊字元，想學或剛學 Linux 的小伙伴趕緊上車了為！ ~ 主目錄 這個波浪號 ~ 指的是 主目錄 ，也就 ...
  • 更新CentOS內核
    1. 查看當前kernel版本 2. 查看已安裝版本 3. 查看可升級kernel版本 4. 升級kernel版本 5. 刪除舊的內核 方法一：安裝yum utls: 設置你想要保留多少舊的內核，比如我想保留兩個: 方法二：直接刪除對應版本 6. 設置永久的內核安裝數量 設置installonly_ ...
  • 企業級自動化部署方案——ansible實現tomcat自動安裝和配置
    ==共耗時10多個小時== 思路一 總體設計 ansible playbook目錄結構 入口文件 執行與結果 實現過程問題記錄 tomcat應用程式是root用戶啟動的，root用戶啟動tomcat有一個嚴重的問題，那就是tomcat具有root許可權，這意味著你的任何一個頁面腳本(html/js)都 ...
  • mysql學習總結（一）
    作為一名小白，今天開始上傳自己的學習總結。 ...
  • Windows 下安裝多個Redis 實例
    1.在Redis 目錄下複製redis.windows-service.conf文件，建議命名規則redis.windows-service-port.conf，我們以6380埠為例。 2.打開redis.windows-service-6380配置文件。 修改埠port 修改資料庫名稱dbfi ...
  • SQL多條件模糊查詢、IN 、自定義函數筆記（一）
    在工作中遇到的一些關於Sql查詢的問題整理記錄，實現環境 SQLService 2014 一、對同一個欄位，多個關鍵詞的查詢幾種實現方式 基本語法： SELECT column_name(s) FROM table_name WHERE column_name LIKE pattern 案例表（Tb ...
  • Mysql性能優化：什麼是索引下推？
    導讀 本文章始發於本人公眾號：碼猿技術專欄，原創不易，謝謝關註推薦。 索引下推（index condition pushdown ）簡稱ICP，在Mysql5.6的版本上推出，用於優化查詢。 在不使用ICP的情況下，在使用非主鍵索引（又叫普通索引或者二級索引）進行查詢時，存儲引擎通過索引檢索到數據， ...
  • java結合email實現自動推送
    1、編寫方法獲取最新標題的最新的標題 2、使用獲取額標題進行模糊查詢，查詢出郵箱地址，標題名稱 3、使用email發送郵件 ...
一周排行
    -Advertisement-
    Play Games
  • C#TMS系統學習（BaseCity頁面）
    C#TMS系統代碼-基礎頁面BaseCity學習 本人純新手，剛進公司跟領導報道，我說我是java全棧，他問我會不會C#，我說大學學過，他說這個TMS系統就給你來管了。外包已經把代碼給我了，這幾天先把增刪改查的代碼背一下，說不定後面就要趕鴨子上架了 Service頁面 //using => impo ...
  • C# - 委托與事件
    委托與事件 委托 委托的定義 委托是C#中的一種類型，用於存儲對方法的引用。它允許將方法作為參數傳遞給其他方法，實現回調、事件處理和動態調用等功能。通俗來講，就是委托包含方法的記憶體地址，方法匹配與委托相同的簽名，因此通過使用正確的參數類型來調用方法。 委托的特性 引用方法：委托允許存儲對方法的引用， ...
  • 解析 ABP vNext 依賴註入實現【屬性註入】的原理
    前言 這幾天閑來沒事看看ABP vNext的文檔和源碼，關於關於依賴註入(屬性註入)這塊兒產生了興趣。 我們都知道。Volo.ABP 依賴註入容器使用了第三方組件Autofac實現的。有三種註入方式，構造函數註入和方法註入和屬性註入。 ABP的屬性註入原則參考如下： 這時候我就開始疑惑了，因為我知道 ...
  • C#TMS系統學習（ShippingNotice頁面）
    C#TMS系統代碼-業務頁面ShippingNotice學習 學一個業務頁面，ok，領導開完會就被裁掉了，很突然啊，他收拾東西的時候我還以為他要旅游提前請假了，還在尋思為什麼回家連自己買的幾箱飲料都要叫跑腿帶走，怕被偷嗎？還好我在他開會之前拿了兩瓶芬達 感覺感覺前面的BaseCity差不太多，這邊的 ...
  • C#動態查詢：巧用Expression組合多條件表達式
    概述：在C#中，通過`Expression`類、`AndAlso`和`OrElse`方法可組合兩個`Expression<Func<T, bool>>`，實現多條件動態查詢。通過創建表達式樹，可輕鬆構建複雜的查詢條件。 在C#中，可以使用AndAlso和OrElse方法組合兩個Expression< ...
  • 在Biwen.QuickApi中整合一個極簡的發佈訂閱(事件匯流排)
    閑來無聊在我的Biwen.QuickApi中實現一下極簡的事件匯流排,其實代碼還是蠻簡單的,對於初學者可能有些幫助 就貼出來,有什麼不足的地方也歡迎板磚交流~ 首先定義一個事件約定的空介面 public interface IEvent{} 然後定義事件訂閱者介面 public interface I ...
  • WPF 穩定的全屏化視窗方法
    1. 案例 成某三甲醫預約系統， 該項目在2024年初進行上線測試，在正常運行了兩天後，業務系統報錯：The connection pool has been exhausted, either raise MaxPoolSize (currently 800) or Timeout (curren ...
  • 在 WPF 中集成 ASP.NET Core 和 WebView2 用於集成 SPA 應用
    背景 我們有些工具在 Web 版中已經有了很好的實踐，而在 WPF 中重新開發也是一種費時費力的操作，那麼直接集成則是最省事省力的方法了。 思路解釋 為什麼要使用 WPF？莫問為什麼，老 C# 開發的堅持，另外因為 Windows 上已經裝了 Webview2/edge 整體打包比 electron ...
  • C#事件
    EDP是一套集組織架構，許可權框架【功能許可權，操作許可權，數據訪問許可權，WebApi許可權】，自動化日誌，動態Interface，WebApi管理等基礎功能於一體的，基於.net的企業應用開發框架。通過友好的編碼方式實現數據行、列許可權的管控。 ...
  • .Net8.0 Blazor Hybird 桌面端 (WPF/Winform) 發佈到 Win7+
    .Net8.0 Blazor Hybird 桌面端 (WPF/Winform) 實測可以完整運行在 win7sp1/win10/win11. 如果用其他工具打包,還可以運行在mac/linux下, 傳送門BlazorHybrid 發佈為無依賴包方式 安裝 WebView2Runtime 1.57 M ...
所有分類