走好數據中台最後一公裡,為什麼說數據服務API是數據中台的標配?

来源:https://www.cnblogs.com/DTinsight/archive/2022/06/23/16404812.html
-Advertisement-
Play Games

原文鏈接:走好數據中台最後一公裡,數據服務API是數據中台的標配 視頻回顧:點擊這裡 課件獲取:點擊這裡 一、數據服務API建設背景 在數字化轉型的時代背景下,新需求的大量增長、新技術的不斷迭代,“互聯網化、數字化”進程的不斷深入,越來越多的業務被遷移到互聯網上,產生大量的業務交互和對外服務需求,對 ...


原文鏈接:走好數據中台最後一公裡,數據服務API是數據中台的標配

視頻回顧:點擊這裡

課件獲取:點擊這裡

一、數據服務API建設背景

在數字化轉型的時代背景下,新需求的大量增長、新技術的不斷迭代,“互聯網化、數字化”進程的不斷深入,越來越多的業務被遷移到互聯網上,產生大量的業務交互和對外服務需求,對API介面的需求與日俱增,如何快速提升企業數據開放共用能力,是企業面臨數字化轉型的關鍵命題。

file

傳統的方式如後端開發人員通過 Java 或 Python 等語言進行編寫來生成 API 介面,開發周期過長,運維成本太高,已經不能滿足企業的需求。企業在數字化轉型過程往往面臨諸多難題:

file

為了更多的解決這些問題,我們在企業開放、共用數據過程中需要確定以下目標:

  • 快速構建 API

  • 系統穩定、數據安全

  • 易於集成使用

  • 授權交付

  • 低成本運維

file

二、數據服務平臺建設方法論

在分享數據服務平臺建設方法論之前,我們先瞭解一下常見的數據中台應用架構:

file

數據服務層作為數據中台整體應用架構中處於中間地位,將數據計算層的結果通過數據API的形式對外共用給數據應用層。數據服務層主要有3個作用:

1、當數據已被整合和計算好之後,需要提供給產品和應用進行數據消費;

2、為了有更好的性能和體驗,構建數據服務層,通過介面服務化方式對外提供數據服務;

3、滿足應用各種複雜的數據服務需求(簡單數據查詢服務、複雜數據查詢服務、實時數據推送)

而在數據服務層對外提供服務的過程中,經歷了從“DWSOA”“OneService”的演變過程。

file

從“OneService”數據服務本身來說,主要是解決異構數據源、重覆建設、審計運維困難、理解困難這4個問題,通過“OneService”服務,實現主題式數據服務、統一且多樣化數據服務、跨源數據服務的服務目標。

因此,若想構建一個完整的數據服務平臺,需要具備以下6個要素:

  • 便捷開發,具備低代碼化的開發能力

  • 易於管理,API管理操作可視化查詢API

  • 易於使用,具備規範化的文檔描述信息

  • 安全穩定,服務調用追蹤監控、服務使用審計、鑒權等

  • 易於運維,測試、糾查、問題規則配置

  • 性能,負載均衡、高併發

三、基於OneService構建數據體系

瞭解完“OneService”理論,接下來為大家分享如何基於OneService構建數據體系,主要遵循以下步驟:

file

● 第一步:API定義

API的定義包括:快速配置參數、選擇排序欄位、API類型多樣性、數據預覽、複製欄位等方面。

file

API的類型又包括生成API、註冊API、服務分組及服務編排這4個方面。

file

file

● 第二步:API發佈

API的發佈包括測試、提交至API網關、發佈至API市場、版本管理這幾個方面。

file

● 第三步:API調用

API調用包括數據預覽、API申請、審批、下載介面文檔、正式調用這幾個方面。

file

● 第四步:調用監控

業務上:對API調用的統計數據進行深入的分析,進而得出關鍵信息;

技術上:通過API調用的統計圖表進行分析可以發現,哪些API最受歡迎;而哪些幾乎無人問津,應該被淘汰;

安全上:對調用IP、調用次數進行監控,對調用者進行溯源。

file

● 第五步:數據安全

數據安全包括:統一認證鑒權、傳輸加密、安全組、角色分配、行級許可權、調用審批等。

file

上述的數據服務API的建設過程,其實正是袋鼠雲自研的數棧數據服務EasyAPI產品的落地實踐過程。

數據服務(EasyAPI),高效的企業級數據服務產品,通過雙模式可視化配置生成與註冊API,快速構建OneService數據共用服務,形成企業級的API市場和API服務管理平臺,提高數據開放與共用效率。

file

同時產品具備以下特點:

  • 快速構建

配置即開發,支持0代碼、低代碼快速構建API

  • 安全性高

用戶認證、監控、傳輸加密、API級別安全策略、行級許可權、角色分配、調用申請審批、調用周期次數的限制、黑白名單

  • 靈活度高

“服務編排“可對不同的API進行組合,支持集成python進行數據處理、支持“條件判斷”節點,選擇符合條件的分支

  • 配置靈活

橫向拓展API網關、緩存

  • 低成本運維

採用Serverless架構,只需關註API本身的業務邏輯,很少考慮運行環境等基礎設施

四、API實施落地案例

接下來我們分享三個使用客戶的實際案例,為大家介紹EasyAPI如何切實的幫助客戶解決問題。

● 金融:某證券公司應用數據服務

file

● 學校:某大學應用數據服務

file

● 零售:某網路公司應用數據服務

file

袋鼠雲開源框架釘釘技術交流qun(30537511),歡迎對大數據開源項目有興趣的同學加入交流最新技術信息,開源項目庫地址:https://github.com/DTStack


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • pwd 顯示工作路徑 shutdown -h now 關閉系統 /halt 關閉系統 shutdown -r now 重啟 / reboot 重啟 1、cd命令:這是一個非常基本,也是大家經常需要使用的命令,它用於切換當前目錄,它的參數是要切換到的目錄的路徑,可以是絕對路徑,也可以是相對路徑。如: ...
  • 環境:CentOS/Linux FFmpeg官網:http://www.ffmpeg.org 將安裝到目錄/usr/local/下 mkdir /usr/local/ffmpeg cd /usr/local/ffmpeg wget http://ffmpeg.org/releases/ffmpeg- ...
  • 鏡像下載、功能變數名稱解析、時間同步請點擊 阿裡雲開源鏡像站 準備 作為一個經常在伺服器上游走的後端,需要熟悉不少命令行操作。其中,grep、sed、awk號稱"linux三劍客",使用頻繁,功能強大,本文通過一個實例演示下基本用法。首先準備一個文本文件,命名為text.txt,內容如下: cat text ...
  • 1.官方SDK(帶Freertos)無法編譯和下載解決方案: (1)無法編譯通過:(會報一下奇奇怪怪的錯誤) 32bit MCU官方freertos的SDK編譯不通過可能是基於不同的C語言版本編寫,需要修改配置如下: (2)無法下載:本人遇到的錯誤是這個 “No Algorithm found fo ...
  • 鏡像下載、功能變數名稱解析、時間同步請點擊 阿裡雲開源鏡像站 一、什麼是MQ? 消息隊列(Message Queue,簡稱MQ),從字面意思上看,本質是個隊列,FIFO先入先出,只不過隊列中存放的內容是message而已。 其主要用途:不同進程Process/線程Thread之間通信。 隊列是一種先進先出的 ...
  • 使用yum或dnf解決rpm包的依賴關係。 YUM:Yellowdog Update Modifier。是rpm的前端程式 作用:解決軟體包之間的依賴關係 yum工作原理: yum 伺服器存放rpm包和相關rpm包的元資料庫(一個叫做repodata的文件夾--存放包的列表、依賴關係等信息) yum ...
  • 問題導入 在之前項目的基礎功能實現中,後臺管理和移動端在進行數據訪問的時候,都是直接操作資料庫MySQL。此時的系統有且僅有一臺MySQL伺服器,則可能會出現如下問題 ①、讀和寫所有壓力都由一臺資料庫承擔,壓力大 ②、資料庫伺服器磁碟損壞導致數據丟失,單點故障 解決方案 很簡單,一臺伺服器撐不住,那 ...
  • 資料庫設計的設計內容包括:需求分析、概念結構設計、邏輯結構設計、物理結構設計、資料庫的實施和資料庫的運行和維護。 ...
一周排行
    -Advertisement-
    Play Games
  • Github / Gitee QQ群(1群) : 813100564 / QQ群(2群) : 579033769 視頻教學 介紹 MiniWord .NET Word模板引擎,藉由Word模板和數據簡單、快速生成文件。 Getting Started 安裝 nuget link : https:// ...
  • Array.Sort Array類中相當實用的我認為是Sort方法,相比起冗長的冒泡排序,它的出現讓排序更加的簡化 結果如下: 還可以聲明一個靜態方法用來專門調用指定數組排序,從名為 array 的一維數組中 a 索引處開始,到 b 元素 從小到大排序。 註意: a + b 不能大於 array 的 ...
  • 前言 在上一篇文章CLR類型系統概述里提到,當運行時掛起時, 垃圾回收會執行堆棧遍歷器(stack walker)去拿到堆棧上值類型的大小和堆棧根。這裡我們來翻譯BotR里一篇專門介紹Stackwalking的文章,希望能加深理解。 順便說一句,StackWalker在中文里似乎還沒有統一的翻譯,J ...
  • 使用過 nginx 的小伙伴應該都知道,這個中間件是可以設置跨域的,作為今天的主角,同樣的 反向代理中間件的 YARP 毫無意外也支持了跨域請求設置。 有些小伙伴可能會問了,怎樣才算是跨域呢? 在 HTML 中,一些標簽,例如 img、a 等,還有我們非常熟悉的 Ajax,都是可以指向非本站的資源的 ...
  • 什麼是Git Git 是一個開源的分散式版本控制系統,用於敏捷高效地處理任何或小或大的項目。 Git 是 Linus Torvalds 為了幫助管理 Linux 內核開發而開發的一個開放源碼的版本控制軟體。 Git 與常用的版本控制工具 CVS, Subversion 等不同,它採用了分散式版本庫的 ...
  • 首先CR3是什麼,CR3是一個寄存器,該寄存器內保存有頁目錄表物理地址(PDBR地址),其實CR3內部存放的就是頁目錄表的記憶體基地址,運用CR3切換可實現對特定進程記憶體地址的強制讀寫操作,此類讀寫屬於有痕讀寫,多數驅動保護都會將這個地址改為無效,此時CR3讀寫就失效了,當然如果能找到CR3的正確地址... ...
  • 說明 onlyoffice為一款開源的office線上編輯組件,提供word/excel/ppt編輯保存操作 以下操作均基於centos8系統,officeonly鏡像版本7.1.2.23 鏡像下載地址:https://yunpan.360.cn/surl_y87CKKcPdY4 (提取碼:1f92 ...
  • 二叉樹查找指定的節點 前序查找的思路 1.先判斷當前節點的no是否等於要查找的 2.如果是相等,則返回當前節點 3.如果不等,則判斷當前節點的左子節點是否為空,如果不為空,則遞歸前序查找 4.如果左遞歸前序查找,找到節點,則返回,否繼續判斷,當前的節點的右子節點是否為空,如果不為空,則繼續向右遞歸前 ...
  • ##Invalid bound statement (not found)出現原因和解決方法 ###前言: 想必各位小伙伴在碼路上經常會碰到奇奇怪怪的事情,比如出現Invalid bound statement (not found),那今天我就來分析以下出現此問題的原因。 其實出現這個問題實質就是 ...
  • ###一、背景知識 爬蟲的本質就是一個socket客戶端與服務端的通信過程,如果我們有多個url待爬取,只用一個線程且採用串列的方式執行,那隻能等待爬取一個結束後才能繼續下一個,效率會非常低。 需要強調的是:對於單線程下串列N個任務,並不完全等同於低效,如果這N個任務都是純計算的任務,那麼該線程對c ...