走好數據中台最後一公裡,為什麼說數據服務API是數據中台的標配?

来源:https://www.cnblogs.com/DTinsight/archive/2022/06/23/16404812.html
-Advertisement-
Play Games

原文鏈接:走好數據中台最後一公裡,數據服務API是數據中台的標配 視頻回顧:點擊這裡 課件獲取:點擊這裡 一、數據服務API建設背景 在數字化轉型的時代背景下,新需求的大量增長、新技術的不斷迭代,“互聯網化、數字化”進程的不斷深入,越來越多的業務被遷移到互聯網上,產生大量的業務交互和對外服務需求,對 ...


原文鏈接:走好數據中台最後一公裡,數據服務API是數據中台的標配

視頻回顧:點擊這裡

課件獲取:點擊這裡

一、數據服務API建設背景

在數字化轉型的時代背景下,新需求的大量增長、新技術的不斷迭代,“互聯網化、數字化”進程的不斷深入,越來越多的業務被遷移到互聯網上,產生大量的業務交互和對外服務需求,對API介面的需求與日俱增,如何快速提升企業數據開放共用能力,是企業面臨數字化轉型的關鍵命題。

file

傳統的方式如後端開發人員通過 Java 或 Python 等語言進行編寫來生成 API 介面,開發周期過長,運維成本太高,已經不能滿足企業的需求。企業在數字化轉型過程往往面臨諸多難題:

file

為了更多的解決這些問題,我們在企業開放、共用數據過程中需要確定以下目標:

  • 快速構建 API

  • 系統穩定、數據安全

  • 易於集成使用

  • 授權交付

  • 低成本運維

file

二、數據服務平臺建設方法論

在分享數據服務平臺建設方法論之前,我們先瞭解一下常見的數據中台應用架構:

file

數據服務層作為數據中台整體應用架構中處於中間地位,將數據計算層的結果通過數據API的形式對外共用給數據應用層。數據服務層主要有3個作用:

1、當數據已被整合和計算好之後,需要提供給產品和應用進行數據消費;

2、為了有更好的性能和體驗,構建數據服務層,通過介面服務化方式對外提供數據服務;

3、滿足應用各種複雜的數據服務需求(簡單數據查詢服務、複雜數據查詢服務、實時數據推送)

而在數據服務層對外提供服務的過程中,經歷了從“DWSOA”“OneService”的演變過程。

file

從“OneService”數據服務本身來說,主要是解決異構數據源、重覆建設、審計運維困難、理解困難這4個問題,通過“OneService”服務,實現主題式數據服務、統一且多樣化數據服務、跨源數據服務的服務目標。

因此,若想構建一個完整的數據服務平臺,需要具備以下6個要素:

  • 便捷開發,具備低代碼化的開發能力

  • 易於管理,API管理操作可視化查詢API

  • 易於使用,具備規範化的文檔描述信息

  • 安全穩定,服務調用追蹤監控、服務使用審計、鑒權等

  • 易於運維,測試、糾查、問題規則配置

  • 性能,負載均衡、高併發

三、基於OneService構建數據體系

瞭解完“OneService”理論,接下來為大家分享如何基於OneService構建數據體系,主要遵循以下步驟:

file

● 第一步:API定義

API的定義包括:快速配置參數、選擇排序欄位、API類型多樣性、數據預覽、複製欄位等方面。

file

API的類型又包括生成API、註冊API、服務分組及服務編排這4個方面。

file

file

● 第二步:API發佈

API的發佈包括測試、提交至API網關、發佈至API市場、版本管理這幾個方面。

file

● 第三步:API調用

API調用包括數據預覽、API申請、審批、下載介面文檔、正式調用這幾個方面。

file

● 第四步:調用監控

業務上:對API調用的統計數據進行深入的分析,進而得出關鍵信息;

技術上:通過API調用的統計圖表進行分析可以發現,哪些API最受歡迎;而哪些幾乎無人問津,應該被淘汰;

安全上:對調用IP、調用次數進行監控,對調用者進行溯源。

file

● 第五步:數據安全

數據安全包括:統一認證鑒權、傳輸加密、安全組、角色分配、行級許可權、調用審批等。

file

上述的數據服務API的建設過程,其實正是袋鼠雲自研的數棧數據服務EasyAPI產品的落地實踐過程。

數據服務(EasyAPI),高效的企業級數據服務產品,通過雙模式可視化配置生成與註冊API,快速構建OneService數據共用服務,形成企業級的API市場和API服務管理平臺,提高數據開放與共用效率。

file

同時產品具備以下特點:

  • 快速構建

配置即開發,支持0代碼、低代碼快速構建API

  • 安全性高

用戶認證、監控、傳輸加密、API級別安全策略、行級許可權、角色分配、調用申請審批、調用周期次數的限制、黑白名單

  • 靈活度高

“服務編排“可對不同的API進行組合,支持集成python進行數據處理、支持“條件判斷”節點,選擇符合條件的分支

  • 配置靈活

橫向拓展API網關、緩存

  • 低成本運維

採用Serverless架構,只需關註API本身的業務邏輯,很少考慮運行環境等基礎設施

四、API實施落地案例

接下來我們分享三個使用客戶的實際案例,為大家介紹EasyAPI如何切實的幫助客戶解決問題。

● 金融:某證券公司應用數據服務

file

● 學校:某大學應用數據服務

file

● 零售:某網路公司應用數據服務

file

袋鼠雲開源框架釘釘技術交流qun(30537511),歡迎對大數據開源項目有興趣的同學加入交流最新技術信息,開源項目庫地址:https://github.com/DTStack


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • pwd 顯示工作路徑 shutdown -h now 關閉系統 /halt 關閉系統 shutdown -r now 重啟 / reboot 重啟 1、cd命令:這是一個非常基本,也是大家經常需要使用的命令,它用於切換當前目錄,它的參數是要切換到的目錄的路徑,可以是絕對路徑,也可以是相對路徑。如: ...
  • 環境:CentOS/Linux FFmpeg官網:http://www.ffmpeg.org 將安裝到目錄/usr/local/下 mkdir /usr/local/ffmpeg cd /usr/local/ffmpeg wget http://ffmpeg.org/releases/ffmpeg- ...
  • 鏡像下載、功能變數名稱解析、時間同步請點擊 阿裡雲開源鏡像站 準備 作為一個經常在伺服器上游走的後端,需要熟悉不少命令行操作。其中,grep、sed、awk號稱"linux三劍客",使用頻繁,功能強大,本文通過一個實例演示下基本用法。首先準備一個文本文件,命名為text.txt,內容如下: cat text ...
  • 1.官方SDK(帶Freertos)無法編譯和下載解決方案: (1)無法編譯通過:(會報一下奇奇怪怪的錯誤) 32bit MCU官方freertos的SDK編譯不通過可能是基於不同的C語言版本編寫,需要修改配置如下: (2)無法下載:本人遇到的錯誤是這個 “No Algorithm found fo ...
  • 鏡像下載、功能變數名稱解析、時間同步請點擊 阿裡雲開源鏡像站 一、什麼是MQ? 消息隊列(Message Queue,簡稱MQ),從字面意思上看,本質是個隊列,FIFO先入先出,只不過隊列中存放的內容是message而已。 其主要用途:不同進程Process/線程Thread之間通信。 隊列是一種先進先出的 ...
  • 使用yum或dnf解決rpm包的依賴關係。 YUM:Yellowdog Update Modifier。是rpm的前端程式 作用:解決軟體包之間的依賴關係 yum工作原理: yum 伺服器存放rpm包和相關rpm包的元資料庫(一個叫做repodata的文件夾--存放包的列表、依賴關係等信息) yum ...
  • 問題導入 在之前項目的基礎功能實現中,後臺管理和移動端在進行數據訪問的時候,都是直接操作資料庫MySQL。此時的系統有且僅有一臺MySQL伺服器,則可能會出現如下問題 ①、讀和寫所有壓力都由一臺資料庫承擔,壓力大 ②、資料庫伺服器磁碟損壞導致數據丟失,單點故障 解決方案 很簡單,一臺伺服器撐不住,那 ...
  • 資料庫設計的設計內容包括:需求分析、概念結構設計、邏輯結構設計、物理結構設計、資料庫的實施和資料庫的運行和維護。 ...
一周排行
    -Advertisement-
    Play Games
  • Dapr Outbox 是1.12中的功能。 本文只介紹Dapr Outbox 執行流程,Dapr Outbox基本用法請閱讀官方文檔 。本文中appID=order-processor,topic=orders 本文前提知識:熟悉Dapr狀態管理、Dapr發佈訂閱和Outbox 模式。 Outbo ...
  • 引言 在前幾章我們深度講解了單元測試和集成測試的基礎知識,這一章我們來講解一下代碼覆蓋率,代碼覆蓋率是單元測試運行的度量值,覆蓋率通常以百分比表示,用於衡量代碼被測試覆蓋的程度,幫助開發人員評估測試用例的質量和代碼的健壯性。常見的覆蓋率包括語句覆蓋率(Line Coverage)、分支覆蓋率(Bra ...
  • 前言 本文介紹瞭如何使用S7.NET庫實現對西門子PLC DB塊數據的讀寫,記錄了使用電腦模擬,模擬PLC,自至完成測試的詳細流程,並重點介紹了在這個過程中的易錯點,供參考。 用到的軟體: 1.Windows環境下鏈路層網路訪問的行業標準工具(WinPcap_4_1_3.exe)下載鏈接:http ...
  • 從依賴倒置原則(Dependency Inversion Principle, DIP)到控制反轉(Inversion of Control, IoC)再到依賴註入(Dependency Injection, DI)的演進過程,我們可以理解為一種逐步抽象和解耦的設計思想。這種思想在C#等面向對象的編 ...
  • 關於Python中的私有屬性和私有方法 Python對於類的成員沒有嚴格的訪問控制限制,這與其他面相對對象語言有區別。關於私有屬性和私有方法,有如下要點: 1、通常我們約定,兩個下劃線開頭的屬性是私有的(private)。其他為公共的(public); 2、類內部可以訪問私有屬性(方法); 3、類外 ...
  • C++ 訪問說明符 訪問說明符是 C++ 中控制類成員(屬性和方法)可訪問性的關鍵字。它們用於封裝類數據並保護其免受意外修改或濫用。 三種訪問說明符: public:允許從類外部的任何地方訪問成員。 private:僅允許在類內部訪問成員。 protected:允許在類內部及其派生類中訪問成員。 示 ...
  • 寫這個隨筆說一下C++的static_cast和dynamic_cast用在子類與父類的指針轉換時的一些事宜。首先,【static_cast,dynamic_cast】【父類指針,子類指針】,兩兩一組,共有4種組合:用 static_cast 父類轉子類、用 static_cast 子類轉父類、使用 ...
  • /******************************************************************************************************** * * * 設計雙向鏈表的介面 * * * * Copyright (c) 2023-2 ...
  • 相信接觸過spring做開發的小伙伴們一定使用過@ComponentScan註解 @ComponentScan("com.wangm.lifecycle") public class AppConfig { } @ComponentScan指定basePackage,將包下的類按照一定規則註冊成Be ...
  • 操作系統 :CentOS 7.6_x64 opensips版本: 2.4.9 python版本:2.7.5 python作為腳本語言,使用起來很方便,查了下opensips的文檔,支持使用python腳本寫邏輯代碼。今天整理下CentOS7環境下opensips2.4.9的python模塊筆記及使用 ...