新來了個技術總監,居然要我做一個 IP 屬地功能。。不服就乾!

来源:https://www.cnblogs.com/javastack/archive/2022/08/12/16580853.html
-Advertisement-
Play Games

作者:ThinkingKeep 鏈接:https://juejin.cn/post/7118954784853327903 細心的朋友應該會發現,最近,繼新浪微博之後,頭條、騰訊、抖音、知乎、快手、小紅書等各大平臺陸陸續續都上線了“網路用戶IP地址顯示功能”,境外用戶顯示的是國家,國內的用戶顯示的省 ...


作者:ThinkingKeep
鏈接:https://juejin.cn/post/7118954784853327903

細心的朋友應該會發現,最近,繼新浪微博之後,頭條、騰訊、抖音、知乎、快手、小紅書等各大平臺陸陸續續都上線了“網路用戶IP地址顯示功能”,境外用戶顯示的是國家,國內的用戶顯示的省份,而且此項顯示無法關閉,歸屬地強制顯示。

作為技術人,那!這個功能要怎麼實現呢?

下麵,我就來講講,Java中是如何獲取IP屬地的,主要分為以下幾步:

  • 通過 HttpServletRequest 對象,獲取用戶的 IP 地址
  • 通過 IP 地址,獲取對應的省份、城市

首先需要寫一個 IP 獲取的工具類,因為每一次用戶的 Request 請求,都會攜帶上請求的 IP 地址放到請求頭中

再見ip.taobao,全網顯示 IP 歸屬地,快用這個開源庫

通過此方法,從請求Header中獲取到用戶的IP地址

目前本人在做的項目中,也有獲取IP地址歸屬地省份、城市的需求,用的是:淘寶IP庫

地址:ip.taobao.com/

再見ip.taobao,全網顯示 IP 歸屬地,快用這個開源庫

再見ip.taobao,全網顯示 IP 歸屬地,快用這個開源庫

原來的請求源碼如下:

再見ip.taobao,全網顯示 IP 歸屬地,快用這個開源庫

再見ip.taobao,全網顯示 IP 歸屬地,快用這個開源庫

可以看到日誌log文件中,大量的the request over max qps for user問題

再見ip.taobao,全網顯示 IP 歸屬地,快用這個開源庫


下麵,給大家介紹下之前在Github衝浪時發現的今天的主角:

目前最新已更新到了v2.0版本,ip2region v2.0是一個離線IP地址定位庫和IP定位數據管理框架,10微秒級別的查詢效率,準提供了眾多主流編程語言的 xdb 數據生成和查詢客戶端實現。

99.9%準確率:

數據聚合了一些知名ip到地名查詢提供商的數據,這些是他們官方的的準確率,經測試著實比經典的純真IP定位準確一些。

多查詢客戶端的支持

已經集成的客戶端有:java、C#、php、c、python、nodejs、php擴展(php5和php7)、golang、rust、lua、lua_c, nginx。

binding 描述 開髮狀態 binary查詢耗時 b-tree查詢耗時 memory查詢耗時
c ANSC c binding 已完成 0.0x毫秒 0.0x毫秒 0.00x毫秒
c# c# binding 已完成 0.x毫秒 0.x毫秒 0.1x毫秒
golang golang binding 已完成 0.x毫秒 0.x毫秒 0.1x毫秒
java java binding 已完成 0.x毫秒 0.x毫秒 0.1x毫秒
lua lua實現的binding 已完成 0.x毫秒 0.x毫秒 0.x毫秒
lua_c lua的c擴展 已完成 0.0x毫秒 0.0x毫秒 0.00x毫秒
nginx nginx的c擴展 已完成 0.0x毫秒 0.0x毫秒 0.00x毫秒
nodejs nodejs 已完成 0.x毫秒 0.x毫秒 0.1x毫秒
php php實現的binding 已完成 0.x毫秒 0.1x毫秒 0.1x毫秒
php5_ext php5的c擴展 已完成 0.0x毫秒 0.0x毫秒 0.00x毫秒
php7_ext php7的c擴展 已完成 0.0毫秒 0.0x毫秒 0.00x毫秒
python python bindng 已完成 0.x毫秒 0.x毫秒 0.x毫秒
rust rust binding 已完成 0.x毫秒 0.x毫秒 0.x毫秒

Ip2region V2.0 特性

1、標準化的數據格式

每個 ip 數據段的 region 信息都固定了格式:國家|區域|省份|城市|ISP,只有中國的數據絕大部分精確到了城市,其他國家部分數據只能定位到國家,後前的選項全部是0。

2、數據去重和壓縮

xdb 格式生成程式會自動去重和壓縮部分數據,預設的全部 IP 數據,生成的 ip2region.xdb 資料庫是 11MiB,隨著數據的詳細度增加資料庫的大小也慢慢增大。

3、極速查詢響應

即使是完全基於 xdb 文件的查詢,單次查詢響應時間在十微秒級別,可通過如下兩種方式開啟記憶體加速查詢:

  1. vIndex 索引緩存 :使用固定的 512KiB 的記憶體空間緩存 vector index 數據,減少一次 IO 磁碟操作,保持平均查詢效率穩定在10-20微秒之間。
  2. xdb 整個文件緩存:將整個 xdb 文件全部載入到記憶體,記憶體占用等同於 xdb 文件大小,無磁碟 IO 操作,保持微秒級別的查詢效率。

4、極速查詢響應

v2.0 格式的 xdb 支持億級別的 IP 數據段行數,region 信息也可以完全自定義,例如:你可以在 region 中追加特定業務需求的數據,例如:GPS信息/國際統一地域信息編碼/郵編等。也就是你完全可以使用 ip2region 來管理你自己的 IP 定位數據。

ip2region xdb java 查詢客戶端實現

  • 使用方式

引入maven倉庫:

<dependency>
    <groupId>org.lionsoul</groupId>
    <artifactId>ip2region</artifactId>
    <version>2.6.4</version>
</dependency>

  • 完全基於文件的查詢
import org.lionsoul.ip2region.xdb.Searcher;
import java.io.*;
import java.util.concurrent.TimeUnit;

public class SearcherTest {
    public static void main(String[] args) {
        // 1、創建 searcher 對象
        String dbPath = "ip2region.xdb file path";
        Searcher searcher = null;
        try {
            searcher = Searcher.newWithFileOnly(dbPath);
        } catch (IOException e) {
            System.out.printf("failed to create searcher with `%s`: %s\n", dbPath, e);
            return;
        }

        // 2、查詢
        try {
            String ip = "1.2.3.4";
            long sTime = System.nanoTime();
            String region = searcher.search(ip);
            long cost = TimeUnit.NANOSECONDS.toMicros((long) (System.nanoTime() - sTime));
            System.out.printf("{region: %s, ioCount: %d, took: %d μs}\n", region, searcher.getIOCount(), cost);
        } catch (Exception e) {
            System.out.printf("failed to search(%s): %s\n", ip, e);
        }

        // 3、備註:併發使用,每個線程需要創建一個獨立的 searcher 對象單獨使用。
    }
}

  • 緩存VectorIndex索引

我們可以提前從 xdb 文件中載入出來 VectorIndex 數據,然後全局緩存,每次創建 Searcher 對象的時候使用全局的 VectorIndex 緩存可以減少一次固定的 IO 操作,從而加速查詢,減少 IO 壓力。

import org.lionsoul.ip2region.xdb.Searcher;
import java.io.*;
import java.util.concurrent.TimeUnit;

public class SearcherTest {
    public static void main(String[] args) {
        String dbPath = "ip2region.xdb file path";

        // 1、從 dbPath 中預先載入 VectorIndex 緩存,並且把這個得到的數據作為全局變數,後續反覆使用。
        byte[] vIndex;
        try {
            vIndex = Searcher.loadVectorIndexFromFile(dbPath);
        } catch (Exception e) {
            System.out.printf("failed to load vector index from `%s`: %s\n", dbPath, e);
            return;
        }

        // 2、使用全局的 vIndex 創建帶 VectorIndex 緩存的查詢對象。
        Searcher searcher;
        try {
            searcher = Searcher.newWithVectorIndex(dbPath, vIndex);
        } catch (Exception e) {
            System.out.printf("failed to create vectorIndex cached searcher with `%s`: %s\n", dbPath, e);
            return;
        }

        // 3、查詢
        try {
            String ip = "1.2.3.4";
            long sTime = System.nanoTime();
            String region = searcher.search(ip);
            long cost = TimeUnit.NANOSECONDS.toMicros((long) (System.nanoTime() - sTime));
            System.out.printf("{region: %s, ioCount: %d, took: %d μs}\n", region, searcher.getIOCount(), cost);
        } catch (Exception e) {
            System.out.printf("failed to search(%s): %s\n", ip, e);
        }

        // 備註:每個線程需要單獨創建一個獨立的 Searcher 對象,但是都共用全局的制度 vIndex 緩存。
    }
}

  • 緩存整個xdb數據

我們也可以預先載入整個 ip2region.xdb 的數據到記憶體,然後基於這個數據創建查詢對象來實現完全基於文件的查詢,類似之前的 memory search。

import org.lionsoul.ip2region.xdb.Searcher;
import java.io.*;
import java.util.concurrent.TimeUnit;

public class SearcherTest {
    public static void main(String[] args) {
        String dbPath = "ip2region.xdb file path";

        // 1、從 dbPath 載入整個 xdb 到記憶體。
        byte[] cBuff;
        try {
            cBuff = Searcher.loadContentFromFile(dbPath);
        } catch (Exception e) {
            System.out.printf("failed to load content from `%s`: %s\n", dbPath, e);
            return;
        }

        // 2、使用上述的 cBuff 創建一個完全基於記憶體的查詢對象。
        Searcher searcher;
        try {
            searcher = Searcher.newWithBuffer(cBuff);
        } catch (Exception e) {
            System.out.printf("failed to create content cached searcher: %s\n", e);
            return;
        }

        // 3、查詢
        try {
            String ip = "1.2.3.4";
            long sTime = System.nanoTime();
            String region = searcher.search(ip);
            long cost = TimeUnit.NANOSECONDS.toMicros((long) (System.nanoTime() - sTime));
            System.out.printf("{region: %s, ioCount: %d, took: %d μs}\n", region, searcher.getIOCount(), cost);
        } catch (Exception e) {
            System.out.printf("failed to search(%s): %s\n", ip, e);
        }

        // 備註:併發使用,用整個 xdb 數據緩存創建的查詢對象可以安全的用於併發,也就是你可以把這個 searcher 對象做成全局對象去跨線程訪問。
    }
}

IDEA中做個測試

再見ip.taobao,全網顯示 IP 歸屬地,快用這個開源庫

完全基於文件的查詢

ip屬地國內的話,會展示省份,國外的話,只會展示國家。可以通過如下圖這個方法進行進一步封裝,得到獲取IP屬地的信息。

再見ip.taobao,全網顯示 IP 歸屬地,快用這個開源庫


下麵是官網給出的命令運行jar方式給出的測試demo,可以理解下

編譯測試程式

通過 maven 來編譯測試程式。

# cd 到 java binding 的根目錄
cd binding/java/
mvn compile package

然後會在當前目錄的 target 目錄下得到一個 ip2region-{version}.jar 的打包文件。

查詢測試

可以通過 java -jar ip2region-{version}.jar search 命令來測試查詢:

➜  java git:(v2.0_xdb) ✗ java -jar target/ip2region-2.6.0.jar search
java -jar ip2region-{version}.jar search [command options]
options:
 --db string              ip2region binary xdb file path
 --cache-policy string    cache policy: file/vectorIndex/content

例如:使用預設的 data/ip2region.xdb 文件進行查詢測試:

➜  java git:(v2.0_xdb) ✗ java -jar target/ip2region-2.6.0.jar search --db=../../data/ip2region.xdb
ip2region xdb searcher test program, cachePolicy: vectorIndex
type 'quit' to exit
ip2region>> 1.2.3.4
{region: 美國|0|華盛頓|0|谷歌, ioCount: 7, took: 82 μs}
ip2region>>

輸入 ip 即可進行查詢測試,也可以分別設置 cache-policy 為 file/vectorIndex/content 來測試三種不同緩存實現的查詢效果。

bench 測試

可以通過 java -jar ip2region-{version}.jar bench 命令來進行 bench 測試,一方面確保 xdb 文件沒有錯誤,一方面可以評估查詢性能:

➜  java git:(v2.0_xdb) ✗ java -jar target/ip2region-2.6.0.jar bench
java -jar ip2region-{version}.jar bench [command options]
options:
 --db string              ip2region binary xdb file path
 --src string             source ip text file path
 --cache-policy string    cache policy: file/vectorIndex/content

例如:通過預設的 data/ip2region.xdb 和 data/ip.merge.txt 文件進行 bench 測試:

➜  java git:(v2.0_xdb) ✗ java -jar target/ip2region-2.6.0.jar bench --db=../../data/ip2region.xdb --src=../../data/ip.merge.txt
Bench finished, {cachePolicy: vectorIndex, total: 3417955, took: 8s, cost: 2 μs/op}

可以通過分別設置 cache-policy 為 file/vectorIndex/content 來測試三種不同緩存實現的效果。 @Note: 註意 bench 使用的 src 文件要是生成對應 xdb 文件相同的源文件。

到這裡獲取用戶IP屬地已經完成啦,這篇文章介紹的v2.0版本,有興趣的小伙伴可以登錄上門的github地址瞭解下v1.0版本

如若覺得有用,歡迎收藏+點贊,如遇到什麼問題,歡迎留言討論

近期熱文推薦:

1.1,000+ 道 Java面試題及答案整理(2022最新版)

2.勁爆!Java 協程要來了。。。

3.Spring Boot 2.x 教程,太全了!

4.別再寫滿屏的爆爆爆炸類了,試試裝飾器模式,這才是優雅的方式!!

5.《Java開發手冊(嵩山版)》最新發佈,速速下載!

覺得不錯,別忘了隨手點贊+轉發哦!


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 轉行做嵌入式也有一段時間了,原來做c#以及一些其它的上層語言, 本想的是也就是僅僅是語法上有點不一樣。但是實際使用的切身體會真的是只有自己才知道。很多方面刷新了我對c語言以及電腦結構體系的認知 ,絕對不僅僅是語法不一樣那麼簡單。 關於字元串傳遞函數引起的 一切源於給函數傳遞字元串變數這種 原來在其 ...
  • 目錄 一.簡介 二.效果演示 三.源碼下載 四.猜你喜歡 零基礎 OpenGL (ES) 學習路線推薦 : OpenGL (ES) 學習目錄 >> OpenGL ES 基礎 零基礎 OpenGL (ES) 學習路線推薦 : OpenGL (ES) 學習目錄 >> OpenGL ES 轉場 零基礎 O ...
  • 1. 在 Spring Boot 中集成 Redis (1)完成配置基礎項。 添加 Redis、MySQL、MyBatis 依賴。 (2)配置MySQL、Redis伺服器 可以直接在application.yml文件中逬行配置,具體配置方法見以下代碼: 查看代碼 # 應用名稱 spring: red ...
  • 1、前言 fixture中文名翻譯為夾具,作用與上一篇中setup和teardown一致,都是用來做前後置處理的,但fixture更靈活更強大。它支持部分前後置,比如有時候我們不需要為每一條測試用例都添加前後置,使用setup和teardown要麼為整個模塊添加前後置,要麼為整個類,所有類方法,所有 ...
  • ​ /* *作者:呆萌老師 *☑csdn認證講師 *☑51cto高級講師 *☑騰訊課堂認證講師 *☑網易雲課堂認證講師 *☑華為開發者學堂認證講師 *☑愛奇藝千人名師計劃成員 *在這裡給大家分享技術、知識和生活 *各種乾貨,記得關註哦! *vx:it_daimeng */ 1 什麼是JSTL JST ...
  • 《對比Excel,輕鬆學習Python數據分析》免費下載地址 內容簡介 · · · · · · 集Python、Excel、數據分析為一體是本書的一大特色。 《對比Excel,輕鬆學習Python數據分析》圍繞整個數據分析的常規流程:熟悉工具—明確目的—獲取數據—熟悉數據—處理數據—分析數據—得出結 ...
  • 一、cffi cffi是連接Python與c的橋梁,可實現在Python中調用c文件。cffi為c語言的外部介面,在Python中使用該介面可以實現在Python中使用外部c文件的數據結構及函數。 二、直接在python中通過cffi定義c函數並使用 1、先通過pip3安裝cffi : pip3 i ...
  • 後面的ssm三個框架學的比較潦草,只要是這些東西都是一些配置文件和一些文件的固定寫法這些東西只有在老一點的軟體會用,現在大多數的都是用的springboot的寫的在後面的代碼審計裡面再去慢慢研究這些框架,這樣無實戰的敲框架代碼意義不大,框架學的潦草因為我是學安全的不是學開發的就算以後開發以是用spr... ...
一周排行
    -Advertisement-
    Play Games
  • 通過WPF的按鈕、文本輸入框實現了一個簡單的SpinBox數字輸入用戶組件並可以通過數據綁定數值和步長。本文中介紹了通過Xaml代碼實現自定義組件的佈局,依賴屬性的定義和使用等知識點。 ...
  • 以前,我看到一個朋友在對一個系統做初始化的時候,通過一組魔幻般的按鍵,調出來一個隱藏的系統設置界面,這個界面在常規的菜單或者工具欄是看不到的,因為它是一個後臺設置的關鍵界面,不公開,同時避免常規用戶的誤操作,它是作為一個超級管理員的入口功能,這個是很不錯的思路。其實Winform做這樣的處理也是很容... ...
  • 一:背景 1. 講故事 前些天有位朋友找到我,說他的程式每次關閉時就會自動崩潰,一直找不到原因讓我幫忙看一下怎麼回事,這位朋友應該是第二次找我了,分析了下 dump 還是挺經典的,拿出來給大家分享一下吧。 二:WinDbg 分析 1. 為什麼會崩潰 找崩潰原因比較簡單,用 !analyze -v 命 ...
  • 在一些報表模塊中,需要我們根據用戶操作的名稱,來動態根據人員姓名,更新報表的簽名圖片,也就是電子手寫簽名效果,本篇隨筆介紹一下使用FastReport報表動態更新人員簽名圖片。 ...
  • 最新內容優先發佈於個人博客:小虎技術分享站,隨後逐步搬運到博客園。 創作不易,如果覺得有用請在Github上為博主點亮一顆小星星吧! 博主開始學習編程於11年前,年少時還只會使用cin 和cout ,給單片機點點燈。那時候,類似async/await 和future/promise 模型的認知還不是 ...
  • 之前在阿裡雲ECS 99元/年的活動實例上搭建了一個測試用的MINIO服務,以前都是直接當基礎設施來使用的,這次準備自己學一下S3相容API相關的對象存儲開發,因此有了這個小工具。目前僅包含上傳功能,後續計劃開發一個類似圖床的對象存儲應用。 ...
  • 目錄簡介快速入門安裝 NuGet 包實體類User資料庫類DbFactory增刪改查InsertSelectUpdateDelete總結 簡介 NPoco 是 PetaPoco 的一個分支,具有一些額外的功能,截至現在 github 星數 839。NPoco 中文資料沒多少,我是被博客園群友推薦的, ...
  • 前言 前面使用 Admin.Core 的代碼生成器生成了通用代碼生成器的基礎模塊 分組,模板,項目,項目模型,項目欄位的基礎功能,本篇繼續完善,實現最核心的模板生成功能,並提供生成預覽及代碼文件壓縮下載 準備 首先清楚幾個模塊的關係,如何使用,簡單畫一個流程圖 前面完成了基礎的模板組,模板管理,項目 ...
  • 假設需要實現一個圖標和文本結合的按鈕 ,普通做法是 直接重寫該按鈕的模板; 如果想作為通用的呢? 兩種做法: 附加屬性 自定義控制項 推薦使用附加屬性的形式 第一種:附加屬性 創建Button的附加屬性 ButtonExtensions 1 public static class ButtonExte ...
  • 在C#中,委托是一種引用類型的數據類型,允許我們封裝方法的引用。通過使用委托,我們可以將方法作為參數傳遞給其他方法,或者將多個方法組合在一起,從而實現更靈活的編程模式。委托類似於函數指針,但提供了類型安全和垃圾回收等現代語言特性。 基本概念 定義委托 定義委托需要指定它所代表的方法的原型,包括返回類 ...