從 Oracle 到 MySQL 資料庫的遷移之旅

来源:https://www.cnblogs.com/fhey/p/18129258
-Advertisement-
Play Games

添加一套針對MuSQL資料庫CRUD的Dao和Mapper代碼,同時我們寫了一個註解以切麵的方式實現根據配置實例化Oracle的Dao、MySQl的Dao、同時調用Oracle和MySQLDao的功能。​ 首先,我們需要設置一個新的MySQL資料庫環境,這將作為我們的新數據源。我們有額外的數據核對方... ...


目錄

引言

隨著技術的進步,許多企業開始考慮將他們的數據從Oracle遷移到更現代、成本效益更高的資料庫系統如MySQL或PostgreSQL。本文將詳細描述我們如何進行這樣的數據遷移過程。

一、前期準備工作

1.搭建新的MySQL資料庫

​ 首先,我們需要設置一個新的MySQL資料庫環境,這將作為我們的新數據源。這包括安裝MySQL伺服器,創建資料庫,以及配置適當的用戶許可權。

2 .建立相應的數據表

​ 我們可以使用PowerDesigner等數據表模型設計工具,將Oracle的模型轉換成MySQL模型,然後根據這個模型生成DDL腳本。這些腳本可能需要根據實際情況進行一些修改。例如,我們可能需要調整欄位類型以適應MySQL的特性,或者修改索引和約束的定義。

2.1 資料庫相容性分析

2.1.1 欄位類型相容性分析

以下是常用的oracle欄位類型和和mysql欄位類型的對應關係 ,如果使用特殊的欄位類型,需要檢查確認欄位轉換是否符合真實需求。

oracle欄位類型 mysql欄位類型
varchar2 varchar
number(1,0))->number(2,0) tinyint
number(3,0)->number(4,0) smallint
number(5,0)->number(6,0) mediumint
number(7,0)->number(9,0) int
number(10,0) -> number(18,0) bigint
number(x,y) decimal(x,y)
date datetime
timestamp(6) datetime
char varchar
clob Text 或 Midiumtext 或 longtext

2.1.2 函數相容性分析

Oracle和MySQL的函數有一定對的相似性也要有一定的區別,下麵表格列出了Oracle和MySQL常用函數的對比和區別。

功能 oracle函數 mysql函數 備註
舍入函數 round round 一樣
取絕對值 abs abs 一樣
返回 expr 的最小或最大值 Max(expr)/Min(expr) Max(expr)/Min(expr) 一樣
在字元串 str 中所有出現的字元串 from_str 均被 to_str 替換 REPLACE(str,from_str,to_str) REPLACE(str,from_str,to_str) 一樣
截取函數 SUBSTR('abcd',2,2) substring('abcd',2,2) 函數名稱不同
獲取長度 length(str) char_length() 函數名稱不同
轉大寫 UPPER(str) UPPER(str) 一樣
轉小寫 LOWER(str) LOWER(str) 一樣
轉字元 TO_CHAR(SQLCODE) date_format/ time_format 函數名稱不同
轉時間 to_date(str,format) STR_TO_DATE(str,format) 函數名稱不同
獲取當前時間 SYSDATE now() / SYSDATE() 函數名稱不同
求和 SUM(num) SUM(num) 一樣
返回兩個日期之間的天數 (D1-D2) DATEDIFF(date1,date2)

2.1.3 是否使用存儲過程?存儲過程的個數?複雜度?

在這次的案例中,沒有使用存儲過程,因此不需要進行這方面的分析。

2.1.4 是否使用觸發器?個數?使用的場景?

公司的資料庫使用規範里禁止使用觸發器,因此這次也不需要進行這方面的分析。

2.2 建表過程中其他需要註意的事項

  • 自增主鍵 mysql預設需要有自增主鍵,而oracle的表可以不加主鍵
  • 編碼格式:oracle的編碼格式utf8在mysql需要修改成utf8mb4 要確保所有的表都有一個自增的主鍵列。
  • 時間欄位:時間欄位需要精確到時分秒的需要修改為datatime類型。這是因為MySQL的DATETIME類型可以存儲到秒級別的時間信息,而Oracle的DATE類型只能存儲到天級別的時間信息。
  • 索引格式:索引格式需要按照規範重新定義,最好在測試環境中進行檢查和校驗。這是因為Oracle和MySQL的索引實現方式有所不同,直接複製索引可能會導致性能問題。

3.為項目配置Oracle和MySQL雙數據源

在項目的數據源配置里添加剛剛新建的MySQL數據源配置,並配置雙數據源和Mapper的匹配規則。

4.對項目進行改造添加MySQL數據CRUD代碼

添加一套針對MuSQL資料庫CRUD的Dao和Mapper代碼,同時我們寫了一個註解以切麵的方式實現根據配置實例化Oracle的Dao、MySQl的Dao、同時調用Oracle和MySQLDao的功能。

改造方式:
請添加圖片描述

資料庫遷移切換流程:
請添加圖片描述

二、數據遷移操作步驟

數據遷移操作的答題步驟如下圖所示:
請添加圖片描述

1、配置初始化

​ 資料庫寫入的配置設置為只寫Oracle資料庫。資料庫讀取的配置設置為從OracleL資料庫讀取。

2、同步數據檢查

​ 查詢待遷移的幾張表的數據量:

​ select count(1) from table;

3、全量數據遷移

​ 在遷移工具上執行數據遷移腳本SQL

4、檢查全量遷移的數據

​ 查詢遷移後的數據量,檢查是否和需要遷移的數據量能匹配:

5、開啟雙寫

資料庫寫入的配置設置為Oracle資料庫和MYSQl資料庫雙寫

6、獲取遷移過程中oracle資料庫的增量數據

查詢updated_time在全量數據遷移開始時間之後的數據

select * from table whereupdated_time>to_Date('2022/12/16 04:00:00', 'yyyy/mm/dd hh24:mi:ss')

7、增量數據腳本準備

根據監控的增量數據對比,找出需要新增和修改的數據,準備腳本

8、數據補償

在遷移工具上執行數據補償腳本SQL

9、核對整體數據

我們有額外的數據核對方案,通過應用讀Oracle,再非同步讀取MySQL併進行對比的方式進行業務表的數據核對。這樣可以確保數據的一致性。

10、在灰度環境里驗證數據的正確性

將灰度機器的資料庫讀取的配置設置為從MySQL資料庫讀取。併在灰度環境驗證數據的正確性

11、資料庫讀取的配置設置為從MySQL資料庫讀取。

將正式環境的機器的資料庫讀取的配置設置為從MySQL資料庫讀取。

12、資料庫寫入的配置設置為只寫MySQL

在生產環境運行一段時間,如果運行平穩的話,就可以關閉資料庫雙寫,將資料庫寫入配置改為只寫MySQL資料庫了。

三、數據遷移的經驗教訓

1. 遇到的坑

在遷移過程中,我們發現了一些Oracle語法與MySQL語法不相容的地方,有些寫法在Oracle中可行,在MySQL中會報錯:

(1)子查詢語句要取別名

(2)欄位別名需要註意,AS後是否為空

(3)條件語句中判斷需要註意

(4)oracle轉mysql條件語句is null需格外註意,在Oracle中null和空串是一個含義,在mysql中是兩個含(只針對欄位類型為varchar類型的欄位)

Oracle中:
IS_LIMIT_SUCESS is null
Mysql替換為:
(IS_LIMIT_SUCESS is null or IS_LIMIT_SUCESS = '') 

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 點擊查看代碼 丐版sqlserver集群 之前試過docker的,k8s的,然後發現,還是最朴素的是最簡單的,希望有大佬能夠漢化,他媽的,那些英文看得人要發癲啊。 前置準備,參照丐版pxc集群: https://www.cnblogs.com/zwnfdswww/p/18112077 如果不關防火牆 ...
  • 背景介紹 近來一套業務系統,從庫一直處於延遲狀態,無法追上主庫,導致業務風險較大。從資源上看,從庫的CPU、IO、網路使用率較低,不存在伺服器壓力過高導致回放慢的情況;從庫開啟了並行回放;在從庫上執行show processlist看到沒有回放線程阻塞,回放一直在持續;解析relay-log日誌文件 ...
  • 作用 GROUP_CONCAT 是 MySQL 中用於將查詢結果集中的多行數據合併為單個字元串的聚合函數。它將每行數據的指定欄位值連接起來,並以指定的分隔符分隔,最終返回一個包含所有值的字元串。 以下是 GROUP_CONCAT 函數的一般語法: SELECT GROUP_CONCAT(column ...
  • 目錄一、Linux下MySQL忘記root密碼情景再現1、停止MySQL服務2、安全模式啟動MySQL服務,並暫時跳過許可權表驗證以及禁用網路連接3、更新mysql.user表中root用戶的密碼。4、刷新MySQL的許可權緩存二、Windows下MySQL忘記密碼(8.0以上版本)情景再現1、通過管理 ...
  • 生產環境有一套3個節點的MySQL InnoDB Cluster,MySQL的版本為Server version: 8.0.35 MySQL Community Server - GPL, 早上突然收到Zabbix的告警,其中一個節點出現空間告警:"/data: Disk space is low ...
  • 各位熱愛 SeaTunnel 的小伙伴們,SeaTunnel 社區 3 月月報來啦!這裡將記錄 SeaTunnel 社區每個月的重要更新,並評選出月度之星,歡迎關註。 SeaTunnel 月度 Merge Stars 感謝以下小伙伴 3 月為 Apache SeaTunnel 做的精彩貢獻(排名不分 ...
  • 各位熱愛 DolphinScheduler 的小伙伴們,DolphinScheduler 社區月報開始更新啦!這裡將記錄 DolphinScheduler 社區每月的重要更新。 社區為 DolphinScheduler 3.2.x 版本做了諸多功能改進和 bug 修複 DolphinSchedule ...
  • 4月10日,以“Data+AI,構建新質生產力”為主題的袋鼠雲春季發佈會圓滿落幕。大會中,袋鼠雲帶來了一系列“+AI”的數字化產品與最新行業沉澱,旨在將數據與AI緊密結合,打破傳統的生產力邊界,賦能企業實現更高質量、更高效率的數字化發展。 2部白皮書:聚焦行業沉澱 《行業指標體系白皮書》:系統闡述了 ...
一周排行
    -Advertisement-
    Play Games
  • 概述:本文代碼示例演示瞭如何在WPF中使用LiveCharts庫創建動態條形圖。通過創建數據模型、ViewModel和在XAML中使用`CartesianChart`控制項,你可以輕鬆實現圖表的數據綁定和動態更新。我將通過清晰的步驟指南包括詳細的中文註釋,幫助你快速理解並應用這一功能。 先上效果: 在 ...
  • openGauss(GaussDB ) openGauss是一款全面友好開放,攜手伙伴共同打造的企業級開源關係型資料庫。openGauss採用木蘭寬鬆許可證v2發行,提供面向多核架構的極致性能、全鏈路的業務、數據安全、基於AI的調優和高效運維的能力。openGauss深度融合華為在資料庫領域多年的研 ...
  • openGauss(GaussDB ) openGauss是一款全面友好開放,攜手伙伴共同打造的企業級開源關係型資料庫。openGauss採用木蘭寬鬆許可證v2發行,提供面向多核架構的極致性能、全鏈路的業務、數據安全、基於AI的調優和高效運維的能力。openGauss深度融合華為在資料庫領域多年的研 ...
  • 概述:本示例演示了在WPF應用程式中實現多語言支持的詳細步驟。通過資源字典和數據綁定,以及使用語言管理器類,應用程式能夠在運行時動態切換語言。這種方法使得多語言支持更加靈活,便於維護,同時提供清晰的代碼結構。 在WPF中實現多語言的一種常見方法是使用資源字典和數據綁定。以下是一個詳細的步驟和示例源代 ...
  • 描述(做一個簡單的記錄): 事件(event)的本質是一個委托;(聲明一個事件: public event TestDelegate eventTest;) 委托(delegate)可以理解為一個符合某種簽名的方法類型;比如:TestDelegate委托的返回數據類型為string,參數為 int和 ...
  • 1、AOT適合場景 Aot適合工具類型的項目使用,優點禁止反編 ,第一次啟動快,業務型項目或者反射多的項目不適合用AOT AOT更新記錄: 實實在在經過實踐的AOT ORM 5.1.4.117 +支持AOT 5.1.4.123 +支持CodeFirst和非同步方法 5.1.4.129-preview1 ...
  • 總說周知,UWP 是運行在沙盒裡面的,所有許可權都有嚴格限制,和沙盒外交互也需要特殊的通道,所以從根本杜絕了 UWP 毒瘤的存在。但是實際上 UWP 只是一個應用模型,本身是沒有什麼許可權管理的,許可權管理全靠 App Container 沙盒控制,如果我們脫離了這個沙盒,UWP 就會放飛自我了。那麼有沒... ...
  • 目錄條款17:讓介面容易被正確使用,不易被誤用(Make interfaces easy to use correctly and hard to use incorrectly)限制類型和值規定能做和不能做的事提供行為一致的介面條款19:設計class猶如設計type(Treat class de ...
  • title: 從零開始:Django項目的創建與配置指南 date: 2024/5/2 18:29:33 updated: 2024/5/2 18:29:33 categories: 後端開發 tags: Django WebDev Python ORM Security Deployment Op ...
  • 1、BOM對象 BOM:Broswer object model,即瀏覽器提供我們開發者在javascript用於操作瀏覽器的對象。 1.1、window對象 視窗方法 // BOM Browser object model 瀏覽器對象模型 // js中最大的一個對象.整個瀏覽器視窗出現的所有東西都 ...