深度解析GaussDB(DWS)+Flink如何增強湖倉增量數據在不同數據模型層之間的實時流動能力，如何為消息數據流提供高性能通用入庫能力，又如何構建極致的端到端實時數倉解決方案。 ...

1.背景概述 客戶業務發生死鎖的報錯，根據業務程式日誌及業務流程，發現造成死鎖的原因是：事務1 delete + insert ，事務2 delete + insert 2個事務交替執行導致的死鎖；由於GAP鎖阻塞了插入意向鎖，並且當delete的數據存在時死鎖不會發生，當delete的數據不存在時 ...

前幾天遇到了一起備份失敗案例，RMAN備份過程中遇到了歸檔日誌損壞的情況，還是第一次遇到這種案例，這裡記錄一下這個案例的具體情況。 備份作業失敗，檢查RMAN備份的輸出日誌，發現一個歸檔日誌文件損壞（corrupt）了，如下所示： RMAN-08137: warning: archived log  ...

前言 今天docker安裝mysql8.0.20捯飭了半天，主要是掛載問題和連接問題，索性記錄一下。網上很多千篇一律，還有很多就是過時了，那還是我自己上場吧。大家看的時候，請睜大眼睛，按步驟來。 Docker安裝MySQL8.0.20 此處預設你已經搭建好了docker環境 第一步 拉鏡像 dock ...

JSON（JavaScript Object Notation）是一種輕量級的數據交換格式，常用於將數據從伺服器發送到Web應用程式。 ...

DB2是IBM的一款關係型資料庫管理系統，JDBC DB2 Source Connector是一個用於通過JDBC讀取外部數據源數據的連接器。Apache SeaTunnel如何支持JDBC DB2 Sink Connector？請參考本文檔。 支持引擎 Spark Flink SeaTunnel ...

項目背景 數字金融是數字經濟的重要支撐和驅動力。近年來，我國針對數字金融的發展政策頻頻出台，《金融科技發展規劃 （2022-2025年）》、《“十四五”數字經濟發展規劃》、《關於銀行業保險業數字化轉型的指導意見》、《金融標準化“十 四五”發展規劃》等相繼發佈，頂層設計逐步完善。 2024年，政府工作 ...

目錄一、什麼是redis Cluster集群二、集群架構圖三、redis Cluster部署架構1、測試環境2、生產環境四、原生命令手動部署Redis Cluster1、環境準備2、為所有節點啟用redis集群支持3、執行meet操作實現互相通信在任意一節點上和其它所有節點進行meet通信，以m1為 ...

1.環境說明 1.1源端SQLSserver 版本 IP 埠 Microsoft SQL Server 2017 192.168.140.160 1433 1.2目標端GreatSQL 版本 IP 埠 GreatSQL-8.0.32 192.168.139.86 3308 2.安裝環境 2.1安 ...

在剛剛過去的2024春季發佈會上，袋鼠雲帶來了數棧產品V6.2版本的全新發佈。其中，EasyMR 作為數棧V6.2中的一項關鍵能力，代表了袋鼠雲對大數據生態的深入理解和持續創新。 EasyMR（後文統稱EMR）是袋鼠雲基於 Hadoop、Hive、Spark、Flink、HBase 等開源組件，構建 ...

內容介紹 hive on spark的調優,那必然涉及到這一系列框架的記憶體模型。本章就是來講一下這些框架的記憶體模型。 hive on spark的任務，從開始到結束。總共涉及了3個框架。分別是：yarn、hive、spark 其中，hive只是一個客戶端的角色。就不涉及任務運行時的記憶體。所以這裡主要 ...

在當今快速發展的世界中，數據被視為新的石油。隨著對數據驅動洞察的日益依賴，大數據工程師的角色比以往任何時候都更為關鍵。 這些專業人員在管理和優化組織內的數據操作中扮演著至關重要的角色。在本文中，我們將探索2024年大數據工程師必須具備的十項技能。 理解大數據工程師的角色 在深入技能之前，瞭解大數據工 ...

近日，由新一代信息技術產業研究院、賽迪未來產業研究中心共同主辦，中國電子學會區塊鏈分會、至頂科技聯合承辦的“2024未來信息技術大會暨首屆數據要素創新發展論壇”於北京成功舉辦。大會公佈了“2023年度數據要素價值創新標桿示範案例”評選結果，天翼雲“海南省數據產品超市公共數據資源開發利用平臺”與“福州... ...

目錄一、什麼是哨兵模式1、為什麼需要哨兵機制2、哨兵架構拓撲3、Redis Sentinel的功能：二、搭建哨兵架構1、涉及主機2、拓撲結構3、設置一主兩從4、master伺服器狀態5、編輯哨兵的配置文件6、啟動哨兵7、驗證哨兵埠8、查看哨兵日誌9、驗證當前sentinel狀態三、故障轉移1、re ...

版本說明 由於作者目前接觸當前最新版本為2.3.4 但是官方提供的web版本未1.0.0，不相容2.3.4，因此這裡仍然使用2.3.3版本。 可以自定義相容處理，官方提供了文檔：https://mp.weixin.qq.com/s/Al1VmBoOKu2P02sBOTB6DQ 因為大部分用戶使用Se ...

何為半連接？ 半連接是在GreatSQL內部採用的一種執行子查詢的方式，semi join不是語法關鍵字，不能像使用inner join、left join、right join這種語法關鍵字一樣提供給用戶來編寫SQL語句。 兩個表t1表和t2表進行半連接的含義是：對於t1表的某條記錄來說，我們只關 ...

本文分享自華為雲社區《DTC2024，華為雲資料庫創新融合大發展，打造世界級資料庫！》，作者：GaussDB 資料庫。 4月12日-13日，以“智能·雲原生·一體化——DB與Al協同創新，模型與架構融合發展”為主題的第十三屆數據技術嘉年華(DTC 2024)在北京新雲南皇冠假日酒店成功舉行。作為本次 ...

在當前快速發展的技術格局中，企業尋求創新解決方案來簡化運營並提高效率成為一種趨勢。 Apache DolphinScheduler作為一個強大的工具，允許跨分散式系統進行複雜的工作流任務調度。本文將深入探討如何將Apache DolphinScheduler適配並整合進現代IT環境，提升其在雲原生部 ...