一種基於圖片搜索視頻的方案

来源:https://www.cnblogs.com/Jcloud/archive/2023/02/02/17085904.html
-Advertisement-
Play Games

隨著移動互聯網發展,手機端購物已成為人們生活的常態。人們在搜索商品時採用的手段也越來越豐富,當前的主要搜索方式是文本搜索與拍照搜索。 ...


作者:京東零售 谷偉

1.商品搜索

1.1網路購物的搜索手段

隨著移動互聯網發展,手機端購物已成為人們生活的常態。人們在搜索商品時採用的手段也越來越豐富,當前的主要搜索方式是文本搜索與拍照搜索。

1.2文本搜索

文本搜索應用比較廣泛,較為常用的是關鍵字匹配,針對商品信息的相關描述進行分詞,並對分詞建立索引庫,從而達到查找的目的。隨著人工智慧的發展,語義搜索得到了快速的發展,它通過用戶輸入的搜索內容來理解用戶真正的意圖,從而獲得更有價值的內容。其本質是將所有要搜索的內容轉化為高維數學向量,用統一的特征向量來描述不同內容,把檢索輸入的內容向量化,並與要搜索的內容進行向量匹配,把相似度最高的結果展現出來。

1.3拍照搜索

拍照搜索也就是以圖搜圖,是近幾年的視覺AI發展的一個產物。用戶登錄電商平臺,可以通過上傳圖片,經過圖像分析與識別來查找相似的商品主圖,從而找出相關的商品。其基本原理是經圖像分析抽取圖像的顏色、形狀、紋理等特征,建立特征索引庫,對用戶上傳的圖像進行特征化描述,從索引庫中查找出與之近似的特征圖像。

2. 現狀分析

2.1需要專業人員參與

文本搜索需要文本描述的支持,也就是需要對短視頻進行文本描述,需要人員對短視頻進行準確的文本描述,尤其描述中要含有代表其商品的關鍵詞,否則可能難以被搜索引擎所命中,這對視頻的發佈人員產生了一定的門檻,增加搜索命中的難度。

拍照搜索主要是對商品的主圖進行特征匹配,這也就需要商品發佈人員要製作儘可能與之匹配的圖片,尤其需要美工設計人員的參與,從而增加了人力成本。

2.2難以支持短視頻搜索

隨著近幾年自媒體的發展,短視頻逐漸成為互聯網信息傳播的主要手段。而短視頻可以認為是大量圖片的集合,不可能對短視頻的每張圖片建立特征索引,因為這會浪費大量的電腦算力。

3. 技術方案

3.1 技術問題

以前商品介紹主要以圖文方式來展現商品,不僅要展示商品主圖還要配細節圖,以及產品參數,從而達到全面涵蓋產品信息的能力。而短視頻能夠全方位的展示商品,並搭配語言描述以及背景音樂,可進一步形象的給消費者介紹商品的功能,給顧客更直觀的體驗,有助於促進下單。同時商家製作的短視頻可將其推送到自媒體平臺上,便於給商品引流,提高商品銷量,從而拓寬了銷售市場。

因此短視頻營銷相對於圖文營銷更有優勢,如何讓顧客能夠更快更便捷地搜索到其感興趣的商品短視頻,是本發明所要解決的主要問題。本方案主要解決的是商品短視頻搜索,按照類目維度對商品短視頻進行篩選,並提高視頻搜索的命中率,為商品短視頻搜索建立橋梁。

3.2 技術方案

3.2.1 流程圖

流程圖:

3.2.2 詳細描述

1.關鍵幀提取

賣家在製作好商品介紹的短視頻後,在發佈商品時對短視頻進行上傳,視頻時長不能超過2分鐘。對該視頻進行關鍵幀提取。視頻是由一組連續的圖像組成,如果每張圖片都存儲下來,則會導致視頻文件過大,因此視頻都會被壓縮,在壓縮過程中,產生了I幀、P幀、B幀。I幀是畫面的完整保存,它儘可能去除了圖像空間的冗餘信息;P幀則是記錄與前一個關鍵幀的差別;B幀是記錄本幀與上一幀和下一幀的差別。

因此只需提取出I幀即可。在MPEG-4標準中,stss部分標識了哪些sample是關鍵幀,如果沒有stss則全部sample是關鍵幀。當獲取的關鍵幀太多時,以時間軸維度,隨機選取20幀的圖像供商家選擇,把商家選取的5張圖片與視頻文件一同保存到文件資料庫中。

Mp4標準

Box類型 說明
ftyp 文件類型
moov 記錄媒體信息
mvhd 視頻文件信息,如時長、創建時間等
track 存放視頻的容器
tkhd 媒體總體信息,如寬高等
mdia 媒體容器
mdhd 換算真實事件
hdlr 媒體類型,指明是video、audio、hint
minf 媒體信息容器
stbl 偏移映射關係表
stsd sample描述
stts 時戳-sample序號映射表
stsc sample與chunk的映射表
stsz sample的大小
stz2 另一種存儲sample的大小,更節省空間
stss 關鍵幀列表(從該處獲得I幀)
stco 每個chunk的偏移
co64 64位chunk的偏移
mdat 具體的媒體數據

2.特征向量計算

本次的特征向量計算採用的是VGG16模型。由於關鍵幀的圖片都是彩色圖片,因此採用3通道。捲積核為3×3,池化核為2×2。以224×224的視頻圖像為例,過程如下:

  1. 輸入圖像大小為224×224×3,經64個通道的捲積核3×3,步長為1,共捲積2次,輸出尺寸為224×224×64的特征向量。進行池化,採用池化核2×2,步長為2,輸出尺寸為112×112×64的特征向量。

  2. 經128個3×3的捲積核,步長為1,捲積2次,尺寸變為112×112×128,進行池化,步長為2,輸出尺寸為56×56×128。

  3. 經256個3×3的捲積核,步長為1,捲積3次,尺寸變為56×56×256,進行池化,步長為2,輸出尺寸為28×28×256。

  4. 經512個3×3的捲積核,步長為1,捲積3次,尺寸變為28×28×512,進行池化,步長為2,輸出尺寸為14×14×256。

  5. 經512個3×3的捲積核,步長為1,捲積3次,尺寸變為14×14×512,進行池化,步長為2,輸出尺寸為7×7×256。

  6. 將數據拉平成一維數組,7×7×256=25088。

  7. 經兩層1×1×4096與一層1×1×1000的全連接層,最終輸出1×1000的特征向量。

3.向量資料庫

向量在存儲時要把文件資料庫中的ID同時存下來,以及商品ID,從而建立向量、文件、商品的關係。向量搜索都是相似性搜索,通過兩個向量在高位空間的距離來做判斷,其實就是在高維空間中找到與目標向量最接近的K個向量,一般採用歐式距離計算,其公式:

為了召回精度高,暴力搜索的是最好的選擇。但這會產生大量的不必要的計算,浪費了電腦資源。因此本方案採用類目維度進行切割。減少搜索範圍。

4.視頻搜索

買家需要選擇要搜索的類目再進行圖片上傳,通過VGG16模型計算出特征向量,然後基於類目維度進行暴力搜索把最接近的K個向量篩選出來。最後再根據向量與文件的關係,把視頻文件查找出來,返回給買家。

5.視頻淘汰策略

每日進行定時巡檢,對於長時間沒有流量或者流量低於閾值的商品,需要從向量庫中對其短視頻進行邏輯刪除,儘可能減少搜索的體積,減少計算資源的浪費。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • GreatSQL社區原創內容未經授權不得隨意使用,轉載請聯繫小編並註明來源。 GreatSQL是MySQL的國產分支版本,使用上與MySQL一致。 作者: KAiTO 文章來源:GreatSQL社區原創 往期回顧 圖文結合帶你搞懂MySQL日誌之relay log(中繼日誌) 圖文結合帶你搞懂MyS ...
  • 慢查詢指的是資料庫中查詢時間超過了指定的閾值的SQL,這類SQL通常伴隨著執行時間長、伺服器資源占用高、業務響應慢等負面影響。隨著攜程酒店業務的不斷擴張,再加上大量的SQLServer轉MySQL項目的推進,慢查詢的數量正在飛速增長,每日的報警量也居高不下,因此慢查詢的治理優化已經是刻不容緩,此文主... ...
  • 1:apk文件結構 如圖所示: assets: 存放應用程式的靜態資源文件,如圖片資源,json配置文件,html離線資源等。註意,assets目錄下是支持任意深度的子目錄。 res: 規定的指定文件,圖標,圖片資源等,且res下文件都會生成對應的資源id, 但是assets下是不會的。 lib: ...
  • 在元素設置浮動(float)後,該元素就會脫離文檔流,並且向左或向右浮動,直至它的外邊緣遇到包含框或者另一個浮動框的邊緣。 一、浮動元素對佈局的影響 1.1、浮動元素造成父元素的高度塌陷: 原來的父元素高度是內部元素撐開的,但是當內部元素浮動後,脫離文檔流浮動起來,那父元素的高度就坍塌,變為高度 0 ...
  • 寫代碼的時候遇到這個問題了,在這裡複習一下 非箭頭函數 非箭頭函數的this指向比較好理解,就是調用這個函數的對象,舉個慄子: var obj = { foo: { bar: 3, foo:{ bar: 4, foo: function a() { console.log(this.bar) }, ...
  • 這裡給大家分享我在網上總結出來的一些知識,希望對大家有所幫助 什麼是跨域? 跨域不是問題,是一種安全機制。瀏覽器有一種策略名為同源策略,同源策略規定了部分請求不能被瀏覽器所接受。 值得一提的是:同源策略導致的跨域是瀏覽器單方面拒絕響應數據,伺服器端是處理完畢並做出了響應的。 什麼是同源策略 一個ur ...
  • 1.CSS、SCSS、Sass CSS是開發人員熟知的一種用於頁面樣式開發的語言,可以通過內容的分離控制減少代碼的重覆性,降低代碼的複雜程度。 Sass與 SCSS 都是 CSS 預處理器,可包含在基於 CSS 的 UI(用戶界面)或前端框架中以簡化開發。Sass 與 SCSS 框架在高級別的 CS ...
  • 通常,不同的公司里有著不同的編碼規範,主要是從代碼得準確性、穩定性、可讀性等地方著手制定,以提高團隊成員之間的協作效率,這裡主要是列出一些常見的編碼規範。 ...
一周排行
    -Advertisement-
    Play Games
  • 隨著Aspire發佈preview5的發佈,Microsoft.Extensions.ServiceDiscovery隨之更新, 服務註冊發現這個屬於老掉牙的話題解決什麼問題就不贅述了,這裡主要講講Microsoft.Extensions.ServiceDiscovery(preview5)以及如何 ...
  • 概述:通過使用`SemaphoreSlim`,可以簡單而有效地限制非同步HTTP請求的併發量,確保在任何給定時間內不超過20個網頁同時下載。`ParallelOptions`不適用於非同步操作,但可考慮使用`Parallel.ForEach`,儘管在非同步場景中謹慎使用。 對於併發非同步 I/O 操作的數量 ...
  • 1.Linux上安裝Docken 伺服器系統版本以及內核版本:cat /etc/redhat-release 查看伺服器內核版本:uname -r 安裝依賴包:yum install -y yum-utils device-mapper-persistent-data lvm2 設置阿裡雲鏡像源:y ...
  • 概述:WPF界面綁定和渲染大量數據可能導致性能問題。通過啟用UI虛擬化、非同步載入和數據分頁,可以有效提高界面響應性能。以下是簡單示例演示這些優化方法。 在WPF中,當你嘗試綁定和渲染大量的數據項時,性能問題可能出現。以下是一些可能導致性能慢的原因以及優化方法: UI 虛擬化: WPF提供了虛擬化技術 ...
  • 引言 上一章節介紹了 TDD 的三大法則,今天我們講一下在單元測試中模擬對象的使用。 Fake Fake - Fake 是一個通用術語,可用於描述 stub或 mock 對象。 它是 stub 還是 mock 取決於使用它的上下文。 也就是說,Fake 可以是 stub 或 mock Mock - ...
  • 為.net6在CentOS7上面做準備,先在vmware虛擬機安裝CentOS 7.9 新建CentOS764位的系統 因為CentOS8不更新了,所以安裝7;簡單就一筆帶過了 選擇下載好的操作系統的iso文件,下載地址https://mirrors.aliyun.com/centos/7.9.20 ...
  • 經過前面幾篇的學習,我們瞭解到指令的大概分類,如:參數載入指令,該載入指令以 Ld 開頭,將參數載入到棧中,以便於後續執行操作命令。參數存儲指令,其指令以 St 開頭,將棧中的數據,存儲到指定的變數中,以方便後續使用。創建實例指令,其指令以 New 開頭,用於在運行時動態生成並初始化對象。方法調用指... ...
  • LiteDB 是一個輕量級的嵌入式 NoSQL 資料庫,其設計理念與 MongoDB 類似,但它是完全使用 C# 開發的,因此與 C# 應用程式的集成非常順暢。與 SQLite 相比,LiteDB 提供了 NoSQL(即鍵值對)的數據存儲方式,並且是一個開源且免費的項目。它適用於桌面、移動以及 We ...
  • 1 開源解析和拆分文檔 第三方的工具去對文件解析拆分,去將我們的文件內容給提取出來,並將我們的文檔內容去拆分成一個小的chunk。常見的PDF word mark down, JSON、HTML。都可以有很好的一些模塊去把這些文件去進行一個東西去提取。 優勢 支持豐富的文檔類型 每種文檔多樣化選擇 ...
  • OOM是什麼?英文全稱為 OutOfMemoryError(記憶體溢出錯誤)。當程式發生OOM時,如何去定位導致異常的代碼還是挺麻煩的。 要檢查OOM發生的原因,首先需要瞭解各種OOM情況下會報的異常信息。這樣能縮小排查範圍,再結合異常堆棧、heapDump文件、JVM分析工具和業務代碼來判斷具體是哪 ...