風控核心子域——名單服務構建及挑戰

来源:https://www.cnblogs.com/gugujifly/archive/2023/02/01/17081905.html
-Advertisement-
Play Games

名單服務是風控架構中重要子域,對風險決策的性能、用戶體驗、成本管控、風險治理沉澱都有重要影響,本文將詳細介紹名單服務設計思路和實現。 ...


引言

名單服務是風控架構中重要子域,對風險決策的性能、用戶體驗、成本管控、風險治理沉澱都有重要影響,本文將詳細介紹名單服務設計思路和實現。

背景

什麼是名單?

名單服務通常有幾個部分組成:

風險類型

  • 黑名單:絕對會被拒絕的用戶。大部分是歷史數據清洗出來作弊或者破壞業務的用戶,這部分用戶對企業無價值且放之進入會破壞生態平衡
  • 灰名單:灰名單上的客戶需要進一步審核。這部分用戶可能存在某些風險,但是沒有明確的證據表明他們是“黑”的
  • 白名單:這部分客戶是正常用戶,是企業數分人員基於歷史表現清洗出來的合規高價值用戶,可以直接放行

名單維度

  • 主鍵:手機號、用戶 ID、身份證號、IP、設備標識、wifi MAC 地址等等
  • 業務域:全域、業務子域、細分領域等等,這邊需要字典服務來枚舉出需要管控的粒度和場景

時間維度
名單是有一定的生效期的,不同的行為會導致鎖定期不一樣,生效時間可以靈活設置

為什麼需要名單服務?

  • 最易構建的決策能力:風控前期的構建是比較依賴名單決策的,策略數分人員通過歷史數據判定哪些是“壞用戶”,直接將其存儲到名單庫中,後續請求直接在第一道名單決策中踢出,而不需要執行後續策略在判定一次。策略相對名單來說是非常“重”的,且名單服務構建簡單便捷,省時省力。
  • 性能考慮:名單判定一般是在決策流的第一道,試想,對企業服務來說,大部分用戶其實都是正常的,如果每個用戶的請求都過一遍策略,對成本是極大的浪費,同時對性能來說也是極大的挑戰。此時名單服務通過白黑名單,將大部分用戶直接決策出去,只對不明確的客戶和有風險的客戶來做決策,極大地減少了開銷。

設計實現

名單服務的特點如下:

  • 名單數據來源:可以是實時產生、離線跑批生產、運營人員手動批量導入等等,形式多樣
  • 性能足夠好:屬於決策流入口必過服務之一,即最大流量衝擊,需要經得起峰值壓力,RT 要足夠小
  • 穩定性:高性能同時還需要高質量保證,如果名單服務出問題,後果不堪設想,流量全部流放到下游,可能會出現服務雪崩
  • 質量保證:任何名單添加到名單庫中都需要重視,隨意的添加可能會給企業帶來難以想象的損失,所以得有完備的審核記錄及添加原因,最重要的是生效時間的設定

整體名單服務的數據流圖如下所示,重要節點會作明確說明:

實時鏈路名單查詢設計

考慮到名單有時效性及性能要求,且名單數據結構整體簡單(多維度,單個維度存儲內容小),選擇 Redis 存儲名單數據非常適合快速查詢,數據結構如下:

說明:

  • 採用 Redis Hash 結構存儲數據
  • 為何不用 TTL 來存儲過期時間?:一是 expire 最大過期時間不能超過 Integer.MAXVALUE 不能滿足長時間的過期訴求;二來 Redis 本身定位是緩存,不是永久存儲,即數據是可丟失的,需要自己保證服務的高可用

依賴於 Redis 集群良好的性能,基本能滿足線上峰值高 QPS 查詢需求,且 RT 能很好的控制在 10 ms 以內。如上所說就是要保障高穩定性需求,如何保障名單數據的高可用是首要問題。

高可用設計

Redis 本身定位是緩存,不能永久保存數據,且集群癱瘓或者數據部分缺失應對業務影響較小(能及時恢復的情況下,運維保障集群的可用性),如下是高可用數據設計架構:

說明:

  • T+1 Job 保證數據穩定:每天離線任務全量覆蓋,從關係資料庫 PG/MySQL 中抽數 push 到 Redis 中即可
  • Redis 集群出問題:不管是老集群重啟還是更換到新集群,先用 RDB 恢複數據,保證線上可用,再立即執行離線任務做精確覆蓋(T 日的數據丟失需要立即覆蓋),考慮到讀寫同時進行可能會有問題,需要分集群切流

同時需要關註多線程問題,同一個維度,在同一時間可能存在批量更新情況,尤其是離線任務恢復時,歷史數據會存在對一個維度多次更新問題,不考慮多線程問題可能會導致數據被篡改。

數據安全審計

名單庫的風險點在於:隨意地添加名單可能導致“壞用戶”暢通無阻,“好用戶”無法在進入業務流程

名單的生產來源及定性原因不明確,線上在排查問題時也只能幹瞪眼,為了能回溯名單操作,需要做到如下幾點:

  • 寫日誌:任何寫動作需要追加日誌,且需要做持久換存儲,方便做名單時序數據分析
  • 黑名單 & 白名單需要審計:尤其是線上單獨添加這種,必須指明原因且要對操作負責
  • 跑批任務審計:離線任務或者演算法推數等需要控量,否則在迭代更新過程中出現 BUG 問題,導致名單數據猛增,後果不堪設想

異動監控

監控重中之重

能第一時間感知問題,監控的維度如下:

  • 決策層面監控:灰、白、黑名單決策數量監控
  • 元數據產出層面監控:任何名單猛增或猛跌都是需要去定性是否正常
  • 拉黑踢白:沒有永久犯錯的人,也沒有永久的好人,名單之間的流動也需要關註

總結

名單服務在風控域中是最重要的子域之一,是風控流量的“網關”。名單庫對整個風控決策的穩定性,性能提升起到決定性影響。

同時名單服務也是“高危”的,如果使用不當,可能會給企業良好用戶帶來困擾,給那些“黑產”敞開門戶,需要做好數據審核及異動監控。

往期精彩

歡迎關註公眾號:咕咕雞技術專欄
個人技術博客:https://jifuwei.github.io/ >

若有收穫,就點個贊吧


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 0.前言 MySQL由於開源的原因,有各式各樣的中件間Proxy ,極大的豐富了做高可用或遷移的方案,習慣了MySQL生態圈的靈活和便利,Oracle官方不開源代碼和協議,沒有中間件proxy,顯得很笨重。 比如以下的方案就會很不好辦: 實時抓取Oralce的訪問SQL日誌 慢日誌捕獲和收集 高可用 ...
  • 有相當一部分 iPhone 用戶會拒絕iOS更新最新系統,不管是因為各種BUG還是因為其他優化方面的問題,他們都會選擇一個自己覺得均衡的系統版本,安逸養老。 但是蘋果 iOS 系統如果你不及時更新推送版本的話,就會在手機桌面「設置」上方出現角標數字紅點,系統設置中也會出現紅點提示。強迫症患者表示簡直 ...
  • 這裡給大家分享我在網上總結出來的一些知識,希望對大家有所幫助 前言 可視化大屏該如何做?有可能一天完成嗎?廢話不多說,直接看效果,線上 Demo 地址 lxfu1.github.io/large-scree…。 看完這篇文章(這個項目),你將收穫: 全局狀態真的很簡單,你只需 5 分鐘就能上手 如何 ...
  • 1.CSS、SCSS、SASS CSS是開發人員熟知的一種用於頁面樣式開發的語言,可以通過內容的分離控制減少代碼的重覆性,降低代碼的複雜程度。 SASS 與 SCSS 都是 CSS 預處理器,可包含在基於 CSS 的 UI(用戶界面)或前端框架中以簡化開發。這些 SASS 與 SCSS 框架在高級別 ...
  • 鑒於阮一峰老師的技術文章,在此做一個轉載記錄。轉戰react技術一年,希望在技術上可以不斷精進,日後成為一位大牛! 引子:《準備工作》 知識準備 環境準備 第一講:《前端開發的歷史和趨勢》 前端開發的歷史演變 前端MVC框架的興起 前後端分離 全棧工程師 前端開發的未來 第二講:《React 技術棧 ...
  • 前言 先說幾句廢話,本人是一名 web 後端開發,主語言是 java,在學 Electron 之前,只會一點點 HTML和 JavaScript。本文講的也是我學習 Electron 的過程,而非教程,請酌情參考。 Electron是什麼 Electron是一個使用 JavaScript、HTML ...
  • 隨著業務變化的速度越來越快各類IT系統的建設也越來越複雜大規模研發團隊的管理問題日益突出如何提升研發效能成為時下各類技術團隊面臨的重要挑戰 京東雲DevOps專家將帶您深入研發一線揭秘支撐京東集團萬人級研發管理的行雲DevOps平臺 分享企業應該如何規劃DevOps落地與演進 嘉賓介紹 孫長虹 京東 ...
  • 物流合約中心是京東物流合同管理的唯一入口。為商家提供合同的創建,蓋章等能力,為不同業務條線提供合同的定製,歸檔,查詢等功能。由於各個業務條線眾多,為各個業務條線提供高可用查詢能力是物流合約中心重中之重。同時計費系統在每個物流單結算時,都需要查詢合約中心,確保商家簽署的合同內容來保證計費的準確性。 ...
一周排行
    -Advertisement-
    Play Games
  • Timer是什麼 Timer 是一種用於創建定期粒度行為的機制。 與標準的 .NET System.Threading.Timer 類相似,Orleans 的 Timer 允許在一段時間後執行特定的操作,或者在特定的時間間隔內重覆執行操作。 它在分散式系統中具有重要作用,特別是在處理需要周期性執行的 ...
  • 前言 相信很多做WPF開發的小伙伴都遇到過表格類的需求,雖然現有的Grid控制項也能實現,但是使用起來的體驗感並不好,比如要實現一個Excel中的表格效果,估計你能想到的第一個方法就是套Border控制項,用這種方法你需要控制每個Border的邊框,並且在一堆Bordr中找到Grid.Row,Grid. ...
  • .NET C#程式啟動閃退,目錄導致的問題 這是第2次踩這個坑了,很小的編程細節,容易忽略,所以寫個博客,分享給大家。 1.第一次坑:是windows 系統把程式運行成服務,找不到配置文件,原因是以服務運行它的工作目錄是在C:\Windows\System32 2.本次坑:WPF桌面程式通過註冊表設 ...
  • 在分散式系統中,數據的持久化是至關重要的一環。 Orleans 7 引入了強大的持久化功能,使得在分散式環境下管理數據變得更加輕鬆和可靠。 本文將介紹什麼是 Orleans 7 的持久化,如何設置它以及相應的代碼示例。 什麼是 Orleans 7 的持久化? Orleans 7 的持久化是指將 Or ...
  • 前言 .NET Feature Management 是一個用於管理應用程式功能的庫,它可以幫助開發人員在應用程式中輕鬆地添加、移除和管理功能。使用 Feature Management,開發人員可以根據不同用戶、環境或其他條件來動態地控制應用程式中的功能。這使得開發人員可以更靈活地管理應用程式的功 ...
  • 在 WPF 應用程式中,拖放操作是實現用戶交互的重要組成部分。通過拖放操作,用戶可以輕鬆地將數據從一個位置移動到另一個位置,或者將控制項從一個容器移動到另一個容器。然而,WPF 中預設的拖放操作可能並不是那麼好用。為瞭解決這個問題,我們可以自定義一個 Panel 來實現更簡單的拖拽操作。 自定義 Pa ...
  • 在實際使用中,由於涉及到不同編程語言之間互相調用,導致C++ 中的OpenCV與C#中的OpenCvSharp 圖像數據在不同編程語言之間難以有效傳遞。在本文中我們將結合OpenCvSharp源碼實現原理,探究兩種數據之間的通信方式。 ...
  • 一、前言 這是一篇搭建許可權管理系統的系列文章。 隨著網路的發展,信息安全對應任何企業來說都越發的重要,而本系列文章將和大家一起一步一步搭建一個全新的許可權管理系統。 說明:由於搭建一個全新的項目過於繁瑣,所有作者將挑選核心代碼和核心思路進行分享。 二、技術選擇 三、開始設計 1、自主搭建vue前端和. ...
  • Csharper中的表達式樹 這節課來瞭解一下表示式樹是什麼? 在C#中,表達式樹是一種數據結構,它可以表示一些代碼塊,如Lambda表達式或查詢表達式。表達式樹使你能夠查看和操作數據,就像你可以查看和操作代碼一樣。它們通常用於創建動態查詢和解析表達式。 一、認識表達式樹 為什麼要這樣說?它和委托有 ...
  • 在使用Django等框架來操作MySQL時,實際上底層還是通過Python來操作的,首先需要安裝一個驅動程式,在Python3中,驅動程式有多種選擇,比如有pymysql以及mysqlclient等。使用pip命令安裝mysqlclient失敗應如何解決? 安裝的python版本說明 機器同時安裝了 ...