一種基於圖片搜索視頻的方案

来源:https://www.cnblogs.com/Jcloud/archive/2023/02/02/17085904.html
-Advertisement-
Play Games

隨著移動互聯網發展,手機端購物已成為人們生活的常態。人們在搜索商品時採用的手段也越來越豐富,當前的主要搜索方式是文本搜索與拍照搜索。 ...


作者:京東零售 谷偉

1.商品搜索

1.1網路購物的搜索手段

隨著移動互聯網發展,手機端購物已成為人們生活的常態。人們在搜索商品時採用的手段也越來越豐富,當前的主要搜索方式是文本搜索與拍照搜索。

1.2文本搜索

文本搜索應用比較廣泛,較為常用的是關鍵字匹配,針對商品信息的相關描述進行分詞,並對分詞建立索引庫,從而達到查找的目的。隨著人工智慧的發展,語義搜索得到了快速的發展,它通過用戶輸入的搜索內容來理解用戶真正的意圖,從而獲得更有價值的內容。其本質是將所有要搜索的內容轉化為高維數學向量,用統一的特征向量來描述不同內容,把檢索輸入的內容向量化,並與要搜索的內容進行向量匹配,把相似度最高的結果展現出來。

1.3拍照搜索

拍照搜索也就是以圖搜圖,是近幾年的視覺AI發展的一個產物。用戶登錄電商平臺,可以通過上傳圖片,經過圖像分析與識別來查找相似的商品主圖,從而找出相關的商品。其基本原理是經圖像分析抽取圖像的顏色、形狀、紋理等特征,建立特征索引庫,對用戶上傳的圖像進行特征化描述,從索引庫中查找出與之近似的特征圖像。

2. 現狀分析

2.1需要專業人員參與

文本搜索需要文本描述的支持,也就是需要對短視頻進行文本描述,需要人員對短視頻進行準確的文本描述,尤其描述中要含有代表其商品的關鍵詞,否則可能難以被搜索引擎所命中,這對視頻的發佈人員產生了一定的門檻,增加搜索命中的難度。

拍照搜索主要是對商品的主圖進行特征匹配,這也就需要商品發佈人員要製作儘可能與之匹配的圖片,尤其需要美工設計人員的參與,從而增加了人力成本。

2.2難以支持短視頻搜索

隨著近幾年自媒體的發展,短視頻逐漸成為互聯網信息傳播的主要手段。而短視頻可以認為是大量圖片的集合,不可能對短視頻的每張圖片建立特征索引,因為這會浪費大量的電腦算力。

3. 技術方案

3.1 技術問題

以前商品介紹主要以圖文方式來展現商品,不僅要展示商品主圖還要配細節圖,以及產品參數,從而達到全面涵蓋產品信息的能力。而短視頻能夠全方位的展示商品,並搭配語言描述以及背景音樂,可進一步形象的給消費者介紹商品的功能,給顧客更直觀的體驗,有助於促進下單。同時商家製作的短視頻可將其推送到自媒體平臺上,便於給商品引流,提高商品銷量,從而拓寬了銷售市場。

因此短視頻營銷相對於圖文營銷更有優勢,如何讓顧客能夠更快更便捷地搜索到其感興趣的商品短視頻,是本發明所要解決的主要問題。本方案主要解決的是商品短視頻搜索,按照類目維度對商品短視頻進行篩選,並提高視頻搜索的命中率,為商品短視頻搜索建立橋梁。

3.2 技術方案

3.2.1 流程圖

流程圖:

3.2.2 詳細描述

1.關鍵幀提取

賣家在製作好商品介紹的短視頻後,在發佈商品時對短視頻進行上傳,視頻時長不能超過2分鐘。對該視頻進行關鍵幀提取。視頻是由一組連續的圖像組成,如果每張圖片都存儲下來,則會導致視頻文件過大,因此視頻都會被壓縮,在壓縮過程中,產生了I幀、P幀、B幀。I幀是畫面的完整保存,它儘可能去除了圖像空間的冗餘信息;P幀則是記錄與前一個關鍵幀的差別;B幀是記錄本幀與上一幀和下一幀的差別。

因此只需提取出I幀即可。在MPEG-4標準中,stss部分標識了哪些sample是關鍵幀,如果沒有stss則全部sample是關鍵幀。當獲取的關鍵幀太多時,以時間軸維度,隨機選取20幀的圖像供商家選擇,把商家選取的5張圖片與視頻文件一同保存到文件資料庫中。

Mp4標準

Box類型 說明
ftyp 文件類型
moov 記錄媒體信息
mvhd 視頻文件信息,如時長、創建時間等
track 存放視頻的容器
tkhd 媒體總體信息,如寬高等
mdia 媒體容器
mdhd 換算真實事件
hdlr 媒體類型,指明是video、audio、hint
minf 媒體信息容器
stbl 偏移映射關係表
stsd sample描述
stts 時戳-sample序號映射表
stsc sample與chunk的映射表
stsz sample的大小
stz2 另一種存儲sample的大小,更節省空間
stss 關鍵幀列表(從該處獲得I幀)
stco 每個chunk的偏移
co64 64位chunk的偏移
mdat 具體的媒體數據

2.特征向量計算

本次的特征向量計算採用的是VGG16模型。由於關鍵幀的圖片都是彩色圖片,因此採用3通道。捲積核為3×3,池化核為2×2。以224×224的視頻圖像為例,過程如下:

  1. 輸入圖像大小為224×224×3,經64個通道的捲積核3×3,步長為1,共捲積2次,輸出尺寸為224×224×64的特征向量。進行池化,採用池化核2×2,步長為2,輸出尺寸為112×112×64的特征向量。

  2. 經128個3×3的捲積核,步長為1,捲積2次,尺寸變為112×112×128,進行池化,步長為2,輸出尺寸為56×56×128。

  3. 經256個3×3的捲積核,步長為1,捲積3次,尺寸變為56×56×256,進行池化,步長為2,輸出尺寸為28×28×256。

  4. 經512個3×3的捲積核,步長為1,捲積3次,尺寸變為28×28×512,進行池化,步長為2,輸出尺寸為14×14×256。

  5. 經512個3×3的捲積核,步長為1,捲積3次,尺寸變為14×14×512,進行池化,步長為2,輸出尺寸為7×7×256。

  6. 將數據拉平成一維數組,7×7×256=25088。

  7. 經兩層1×1×4096與一層1×1×1000的全連接層,最終輸出1×1000的特征向量。

3.向量資料庫

向量在存儲時要把文件資料庫中的ID同時存下來,以及商品ID,從而建立向量、文件、商品的關係。向量搜索都是相似性搜索,通過兩個向量在高位空間的距離來做判斷,其實就是在高維空間中找到與目標向量最接近的K個向量,一般採用歐式距離計算,其公式:

為了召回精度高,暴力搜索的是最好的選擇。但這會產生大量的不必要的計算,浪費了電腦資源。因此本方案採用類目維度進行切割。減少搜索範圍。

4.視頻搜索

買家需要選擇要搜索的類目再進行圖片上傳,通過VGG16模型計算出特征向量,然後基於類目維度進行暴力搜索把最接近的K個向量篩選出來。最後再根據向量與文件的關係,把視頻文件查找出來,返回給買家。

5.視頻淘汰策略

每日進行定時巡檢,對於長時間沒有流量或者流量低於閾值的商品,需要從向量庫中對其短視頻進行邏輯刪除,儘可能減少搜索的體積,減少計算資源的浪費。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • GreatSQL社區原創內容未經授權不得隨意使用,轉載請聯繫小編並註明來源。 GreatSQL是MySQL的國產分支版本,使用上與MySQL一致。 作者: KAiTO 文章來源:GreatSQL社區原創 往期回顧 圖文結合帶你搞懂MySQL日誌之relay log(中繼日誌) 圖文結合帶你搞懂MyS ...
  • 慢查詢指的是資料庫中查詢時間超過了指定的閾值的SQL,這類SQL通常伴隨著執行時間長、伺服器資源占用高、業務響應慢等負面影響。隨著攜程酒店業務的不斷擴張,再加上大量的SQLServer轉MySQL項目的推進,慢查詢的數量正在飛速增長,每日的報警量也居高不下,因此慢查詢的治理優化已經是刻不容緩,此文主... ...
  • 1:apk文件結構 如圖所示: assets: 存放應用程式的靜態資源文件,如圖片資源,json配置文件,html離線資源等。註意,assets目錄下是支持任意深度的子目錄。 res: 規定的指定文件,圖標,圖片資源等,且res下文件都會生成對應的資源id, 但是assets下是不會的。 lib: ...
  • 在元素設置浮動(float)後,該元素就會脫離文檔流,並且向左或向右浮動,直至它的外邊緣遇到包含框或者另一個浮動框的邊緣。 一、浮動元素對佈局的影響 1.1、浮動元素造成父元素的高度塌陷: 原來的父元素高度是內部元素撐開的,但是當內部元素浮動後,脫離文檔流浮動起來,那父元素的高度就坍塌,變為高度 0 ...
  • 寫代碼的時候遇到這個問題了,在這裡複習一下 非箭頭函數 非箭頭函數的this指向比較好理解,就是調用這個函數的對象,舉個慄子: var obj = { foo: { bar: 3, foo:{ bar: 4, foo: function a() { console.log(this.bar) }, ...
  • 這裡給大家分享我在網上總結出來的一些知識,希望對大家有所幫助 什麼是跨域? 跨域不是問題,是一種安全機制。瀏覽器有一種策略名為同源策略,同源策略規定了部分請求不能被瀏覽器所接受。 值得一提的是:同源策略導致的跨域是瀏覽器單方面拒絕響應數據,伺服器端是處理完畢並做出了響應的。 什麼是同源策略 一個ur ...
  • 1.CSS、SCSS、Sass CSS是開發人員熟知的一種用於頁面樣式開發的語言,可以通過內容的分離控制減少代碼的重覆性,降低代碼的複雜程度。 Sass與 SCSS 都是 CSS 預處理器,可包含在基於 CSS 的 UI(用戶界面)或前端框架中以簡化開發。Sass 與 SCSS 框架在高級別的 CS ...
  • 通常,不同的公司里有著不同的編碼規範,主要是從代碼得準確性、穩定性、可讀性等地方著手制定,以提高團隊成員之間的協作效率,這裡主要是列出一些常見的編碼規範。 ...
一周排行
    -Advertisement-
    Play Games
  • Timer是什麼 Timer 是一種用於創建定期粒度行為的機制。 與標準的 .NET System.Threading.Timer 類相似,Orleans 的 Timer 允許在一段時間後執行特定的操作,或者在特定的時間間隔內重覆執行操作。 它在分散式系統中具有重要作用,特別是在處理需要周期性執行的 ...
  • 前言 相信很多做WPF開發的小伙伴都遇到過表格類的需求,雖然現有的Grid控制項也能實現,但是使用起來的體驗感並不好,比如要實現一個Excel中的表格效果,估計你能想到的第一個方法就是套Border控制項,用這種方法你需要控制每個Border的邊框,並且在一堆Bordr中找到Grid.Row,Grid. ...
  • .NET C#程式啟動閃退,目錄導致的問題 這是第2次踩這個坑了,很小的編程細節,容易忽略,所以寫個博客,分享給大家。 1.第一次坑:是windows 系統把程式運行成服務,找不到配置文件,原因是以服務運行它的工作目錄是在C:\Windows\System32 2.本次坑:WPF桌面程式通過註冊表設 ...
  • 在分散式系統中,數據的持久化是至關重要的一環。 Orleans 7 引入了強大的持久化功能,使得在分散式環境下管理數據變得更加輕鬆和可靠。 本文將介紹什麼是 Orleans 7 的持久化,如何設置它以及相應的代碼示例。 什麼是 Orleans 7 的持久化? Orleans 7 的持久化是指將 Or ...
  • 前言 .NET Feature Management 是一個用於管理應用程式功能的庫,它可以幫助開發人員在應用程式中輕鬆地添加、移除和管理功能。使用 Feature Management,開發人員可以根據不同用戶、環境或其他條件來動態地控制應用程式中的功能。這使得開發人員可以更靈活地管理應用程式的功 ...
  • 在 WPF 應用程式中,拖放操作是實現用戶交互的重要組成部分。通過拖放操作,用戶可以輕鬆地將數據從一個位置移動到另一個位置,或者將控制項從一個容器移動到另一個容器。然而,WPF 中預設的拖放操作可能並不是那麼好用。為瞭解決這個問題,我們可以自定義一個 Panel 來實現更簡單的拖拽操作。 自定義 Pa ...
  • 在實際使用中,由於涉及到不同編程語言之間互相調用,導致C++ 中的OpenCV與C#中的OpenCvSharp 圖像數據在不同編程語言之間難以有效傳遞。在本文中我們將結合OpenCvSharp源碼實現原理,探究兩種數據之間的通信方式。 ...
  • 一、前言 這是一篇搭建許可權管理系統的系列文章。 隨著網路的發展,信息安全對應任何企業來說都越發的重要,而本系列文章將和大家一起一步一步搭建一個全新的許可權管理系統。 說明:由於搭建一個全新的項目過於繁瑣,所有作者將挑選核心代碼和核心思路進行分享。 二、技術選擇 三、開始設計 1、自主搭建vue前端和. ...
  • Csharper中的表達式樹 這節課來瞭解一下表示式樹是什麼? 在C#中,表達式樹是一種數據結構,它可以表示一些代碼塊,如Lambda表達式或查詢表達式。表達式樹使你能夠查看和操作數據,就像你可以查看和操作代碼一樣。它們通常用於創建動態查詢和解析表達式。 一、認識表達式樹 為什麼要這樣說?它和委托有 ...
  • 在使用Django等框架來操作MySQL時,實際上底層還是通過Python來操作的,首先需要安裝一個驅動程式,在Python3中,驅動程式有多種選擇,比如有pymysql以及mysqlclient等。使用pip命令安裝mysqlclient失敗應如何解決? 安裝的python版本說明 機器同時安裝了 ...