從 Oracle 到 MySQL 資料庫的遷移之旅

来源:https://www.cnblogs.com/fhey/p/18129258
-Advertisement-
Play Games

添加一套針對MuSQL資料庫CRUD的Dao和Mapper代碼,同時我們寫了一個註解以切麵的方式實現根據配置實例化Oracle的Dao、MySQl的Dao、同時調用Oracle和MySQLDao的功能。​ 首先,我們需要設置一個新的MySQL資料庫環境,這將作為我們的新數據源。我們有額外的數據核對方... ...


目錄

引言

隨著技術的進步,許多企業開始考慮將他們的數據從Oracle遷移到更現代、成本效益更高的資料庫系統如MySQL或PostgreSQL。本文將詳細描述我們如何進行這樣的數據遷移過程。

一、前期準備工作

1.搭建新的MySQL資料庫

​ 首先,我們需要設置一個新的MySQL資料庫環境,這將作為我們的新數據源。這包括安裝MySQL伺服器,創建資料庫,以及配置適當的用戶許可權。

2 .建立相應的數據表

​ 我們可以使用PowerDesigner等數據表模型設計工具,將Oracle的模型轉換成MySQL模型,然後根據這個模型生成DDL腳本。這些腳本可能需要根據實際情況進行一些修改。例如,我們可能需要調整欄位類型以適應MySQL的特性,或者修改索引和約束的定義。

2.1 資料庫相容性分析

2.1.1 欄位類型相容性分析

以下是常用的oracle欄位類型和和mysql欄位類型的對應關係 ,如果使用特殊的欄位類型,需要檢查確認欄位轉換是否符合真實需求。

oracle欄位類型 mysql欄位類型
varchar2 varchar
number(1,0))->number(2,0) tinyint
number(3,0)->number(4,0) smallint
number(5,0)->number(6,0) mediumint
number(7,0)->number(9,0) int
number(10,0) -> number(18,0) bigint
number(x,y) decimal(x,y)
date datetime
timestamp(6) datetime
char varchar
clob Text 或 Midiumtext 或 longtext

2.1.2 函數相容性分析

Oracle和MySQL的函數有一定對的相似性也要有一定的區別,下麵表格列出了Oracle和MySQL常用函數的對比和區別。

功能 oracle函數 mysql函數 備註
舍入函數 round round 一樣
取絕對值 abs abs 一樣
返回 expr 的最小或最大值 Max(expr)/Min(expr) Max(expr)/Min(expr) 一樣
在字元串 str 中所有出現的字元串 from_str 均被 to_str 替換 REPLACE(str,from_str,to_str) REPLACE(str,from_str,to_str) 一樣
截取函數 SUBSTR('abcd',2,2) substring('abcd',2,2) 函數名稱不同
獲取長度 length(str) char_length() 函數名稱不同
轉大寫 UPPER(str) UPPER(str) 一樣
轉小寫 LOWER(str) LOWER(str) 一樣
轉字元 TO_CHAR(SQLCODE) date_format/ time_format 函數名稱不同
轉時間 to_date(str,format) STR_TO_DATE(str,format) 函數名稱不同
獲取當前時間 SYSDATE now() / SYSDATE() 函數名稱不同
求和 SUM(num) SUM(num) 一樣
返回兩個日期之間的天數 (D1-D2) DATEDIFF(date1,date2)

2.1.3 是否使用存儲過程?存儲過程的個數?複雜度?

在這次的案例中,沒有使用存儲過程,因此不需要進行這方面的分析。

2.1.4 是否使用觸發器?個數?使用的場景?

公司的資料庫使用規範里禁止使用觸發器,因此這次也不需要進行這方面的分析。

2.2 建表過程中其他需要註意的事項

  • 自增主鍵 mysql預設需要有自增主鍵,而oracle的表可以不加主鍵
  • 編碼格式:oracle的編碼格式utf8在mysql需要修改成utf8mb4 要確保所有的表都有一個自增的主鍵列。
  • 時間欄位:時間欄位需要精確到時分秒的需要修改為datatime類型。這是因為MySQL的DATETIME類型可以存儲到秒級別的時間信息,而Oracle的DATE類型只能存儲到天級別的時間信息。
  • 索引格式:索引格式需要按照規範重新定義,最好在測試環境中進行檢查和校驗。這是因為Oracle和MySQL的索引實現方式有所不同,直接複製索引可能會導致性能問題。

3.為項目配置Oracle和MySQL雙數據源

在項目的數據源配置里添加剛剛新建的MySQL數據源配置,並配置雙數據源和Mapper的匹配規則。

4.對項目進行改造添加MySQL數據CRUD代碼

添加一套針對MuSQL資料庫CRUD的Dao和Mapper代碼,同時我們寫了一個註解以切麵的方式實現根據配置實例化Oracle的Dao、MySQl的Dao、同時調用Oracle和MySQLDao的功能。

改造方式:
請添加圖片描述

資料庫遷移切換流程:
請添加圖片描述

二、數據遷移操作步驟

數據遷移操作的答題步驟如下圖所示:
請添加圖片描述

1、配置初始化

​ 資料庫寫入的配置設置為只寫Oracle資料庫。資料庫讀取的配置設置為從OracleL資料庫讀取。

2、同步數據檢查

​ 查詢待遷移的幾張表的數據量:

​ select count(1) from table;

3、全量數據遷移

​ 在遷移工具上執行數據遷移腳本SQL

4、檢查全量遷移的數據

​ 查詢遷移後的數據量,檢查是否和需要遷移的數據量能匹配:

5、開啟雙寫

資料庫寫入的配置設置為Oracle資料庫和MYSQl資料庫雙寫

6、獲取遷移過程中oracle資料庫的增量數據

查詢updated_time在全量數據遷移開始時間之後的數據

select * from table whereupdated_time>to_Date('2022/12/16 04:00:00', 'yyyy/mm/dd hh24:mi:ss')

7、增量數據腳本準備

根據監控的增量數據對比,找出需要新增和修改的數據,準備腳本

8、數據補償

在遷移工具上執行數據補償腳本SQL

9、核對整體數據

我們有額外的數據核對方案,通過應用讀Oracle,再非同步讀取MySQL併進行對比的方式進行業務表的數據核對。這樣可以確保數據的一致性。

10、在灰度環境里驗證數據的正確性

將灰度機器的資料庫讀取的配置設置為從MySQL資料庫讀取。併在灰度環境驗證數據的正確性

11、資料庫讀取的配置設置為從MySQL資料庫讀取。

將正式環境的機器的資料庫讀取的配置設置為從MySQL資料庫讀取。

12、資料庫寫入的配置設置為只寫MySQL

在生產環境運行一段時間,如果運行平穩的話,就可以關閉資料庫雙寫,將資料庫寫入配置改為只寫MySQL資料庫了。

三、數據遷移的經驗教訓

1. 遇到的坑

在遷移過程中,我們發現了一些Oracle語法與MySQL語法不相容的地方,有些寫法在Oracle中可行,在MySQL中會報錯:

(1)子查詢語句要取別名

(2)欄位別名需要註意,AS後是否為空

(3)條件語句中判斷需要註意

(4)oracle轉mysql條件語句is null需格外註意,在Oracle中null和空串是一個含義,在mysql中是兩個含(只針對欄位類型為varchar類型的欄位)

Oracle中:
IS_LIMIT_SUCESS is null
Mysql替換為:
(IS_LIMIT_SUCESS is null or IS_LIMIT_SUCESS = '') 

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 點擊查看代碼 丐版sqlserver集群 之前試過docker的,k8s的,然後發現,還是最朴素的是最簡單的,希望有大佬能夠漢化,他媽的,那些英文看得人要發癲啊。 前置準備,參照丐版pxc集群: https://www.cnblogs.com/zwnfdswww/p/18112077 如果不關防火牆 ...
  • 背景介紹 近來一套業務系統,從庫一直處於延遲狀態,無法追上主庫,導致業務風險較大。從資源上看,從庫的CPU、IO、網路使用率較低,不存在伺服器壓力過高導致回放慢的情況;從庫開啟了並行回放;在從庫上執行show processlist看到沒有回放線程阻塞,回放一直在持續;解析relay-log日誌文件 ...
  • 作用 GROUP_CONCAT 是 MySQL 中用於將查詢結果集中的多行數據合併為單個字元串的聚合函數。它將每行數據的指定欄位值連接起來,並以指定的分隔符分隔,最終返回一個包含所有值的字元串。 以下是 GROUP_CONCAT 函數的一般語法: SELECT GROUP_CONCAT(column ...
  • 目錄一、Linux下MySQL忘記root密碼情景再現1、停止MySQL服務2、安全模式啟動MySQL服務,並暫時跳過許可權表驗證以及禁用網路連接3、更新mysql.user表中root用戶的密碼。4、刷新MySQL的許可權緩存二、Windows下MySQL忘記密碼(8.0以上版本)情景再現1、通過管理 ...
  • 生產環境有一套3個節點的MySQL InnoDB Cluster,MySQL的版本為Server version: 8.0.35 MySQL Community Server - GPL, 早上突然收到Zabbix的告警,其中一個節點出現空間告警:"/data: Disk space is low ...
  • 各位熱愛 SeaTunnel 的小伙伴們,SeaTunnel 社區 3 月月報來啦!這裡將記錄 SeaTunnel 社區每個月的重要更新,並評選出月度之星,歡迎關註。 SeaTunnel 月度 Merge Stars 感謝以下小伙伴 3 月為 Apache SeaTunnel 做的精彩貢獻(排名不分 ...
  • 各位熱愛 DolphinScheduler 的小伙伴們,DolphinScheduler 社區月報開始更新啦!這裡將記錄 DolphinScheduler 社區每月的重要更新。 社區為 DolphinScheduler 3.2.x 版本做了諸多功能改進和 bug 修複 DolphinSchedule ...
  • 4月10日,以“Data+AI,構建新質生產力”為主題的袋鼠雲春季發佈會圓滿落幕。大會中,袋鼠雲帶來了一系列“+AI”的數字化產品與最新行業沉澱,旨在將數據與AI緊密結合,打破傳統的生產力邊界,賦能企業實現更高質量、更高效率的數字化發展。 2部白皮書:聚焦行業沉澱 《行業指標體系白皮書》:系統闡述了 ...
一周排行
    -Advertisement-
    Play Games
  • .Net8.0 Blazor Hybird 桌面端 (WPF/Winform) 實測可以完整運行在 win7sp1/win10/win11. 如果用其他工具打包,還可以運行在mac/linux下, 傳送門BlazorHybrid 發佈為無依賴包方式 安裝 WebView2Runtime 1.57 M ...
  • 目錄前言PostgreSql安裝測試額外Nuget安裝Person.cs模擬運行Navicate連postgresql解決方案Garnet為什麼要選擇Garnet而不是RedisRedis不再開源Windows版的Redis是由微軟維護的Windows Redis版本老舊,後續可能不再更新Garne ...
  • C#TMS系統代碼-聯表報表學習 領導被裁了之後很快就有人上任了,幾乎是無縫銜接,很難讓我不想到這早就決定好了。我的職責沒有任何變化。感受下來這個系統封裝程度很高,我只要會調用方法就行。這個系統交付之後不會有太多問題,更多應該是做小需求,有大的開發任務應該也是第二期的事,嗯?怎麼感覺我變成運維了?而 ...
  • 我在隨筆《EAV模型(實體-屬性-值)的設計和低代碼的處理方案(1)》中介紹了一些基本的EAV模型設計知識和基於Winform場景下低代碼(或者說無代碼)的一些實現思路,在本篇隨筆中,我們來分析一下這種針對通用業務,且只需定義就能構建業務模塊存儲和界面的解決方案,其中的數據查詢處理的操作。 ...
  • 對某個遠程伺服器啟用和設置NTP服務(Windows系統) 打開註冊表 HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\W32Time\TimeProviders\NtpServer 將 Enabled 的值設置為 1,這將啟用NTP伺服器功 ...
  • title: Django信號與擴展:深入理解與實踐 date: 2024/5/15 22:40:52 updated: 2024/5/15 22:40:52 categories: 後端開發 tags: Django 信號 松耦合 觀察者 擴展 安全 性能 第一部分:Django信號基礎 Djan ...
  • 使用xadmin2遇到的問題&解決 環境配置: 使用的模塊版本: 關聯的包 Django 3.2.15 mysqlclient 2.2.4 xadmin 2.0.1 django-crispy-forms >= 1.6.0 django-import-export >= 0.5.1 django-r ...
  • 今天我打算整點兒不一樣的內容,通過之前學習的TransformerMap和LazyMap鏈,想搞點不一樣的,所以我關註了另外一條鏈DefaultedMap鏈,主要調用鏈為: 調用鏈詳細描述: ObjectInputStream.readObject() DefaultedMap.readObject ...
  • 後端應用級開發者該如何擁抱 AI GC?就是在這樣的一個大的浪潮下,我們的傳統的應用級開發者。我們該如何選擇職業或者是如何去快速轉型,跟上這樣的一個行業的一個浪潮? 0 AI金字塔模型 越往上它的整個難度就是職業機會也好,或者說是整個的這個運作也好,它的難度會越大,然後越往下機會就會越多,所以這是一 ...
  • @Autowired是Spring框架提供的註解,@Resource是Java EE 5規範提供的註解。 @Autowired預設按照類型自動裝配,而@Resource預設按照名稱自動裝配。 @Autowired支持@Qualifier註解來指定裝配哪一個具有相同類型的bean,而@Resourc... ...