AR技術已經被廣泛應用於營銷、教育、游戲、展覽等場景。通過2D圖像跟蹤技術和3D物體跟蹤技術，用戶只需使用一臺手機進行拍攝，即可實現海報、卡牌等平面物體以及文物、手辦等立體物體的AR效果。儘管近年來2D圖像跟蹤和3D物體跟蹤演算法已經取得了很大的進步，但受限於環境等因素影響，效果仍然有很大提升空間，是 ...
AR技術已經被廣泛應用於營銷、教育、游戲、展覽等場景。通過2D圖像跟蹤技術和3D物體跟蹤技術，用戶只需使用一臺手機進行拍攝，即可實現海報、卡牌等平面物體以及文物、手辦等立體物體的AR效果。儘管近年來2D圖像跟蹤和3D物體跟蹤演算法已經取得了很大的進步，但受限於環境等因素影響，效果仍然有很大提升空間，是目前AR開發者的研發難點。
HMS Core AR Engine提供了2D圖像和3D物體的端雲協同跟蹤技術，讓開發者更簡單便捷地開發AR類應用，讓用戶擁有更豐富的AR交互體驗。
2D圖像跟蹤技術
端雲協同2D圖像實時跟蹤技術已率先應用於Bilibili會員購，購物者在選購時能夠瀏覽商品的AR特效，多角度、近距離地與IP衍生商品實現互動，從而獲得全新的AR購物體驗。據會員購後臺數據統計，具備AR特效的商品銷量更好，AR活動參與率是普通游戲參與率的2倍左右，助力會員購平臺收入提升。
圖1. Bilibili會員購效果圖
傳統的純端側2D圖像跟蹤方案，如果開發者要讓新的圖片支持AR特效就必須更新應用版本，有較高的版本維護成本，而且隨著支持AR特性圖片的增加，應用的體積也會不斷增大。為此，AR Engine採用端雲協同的架構解決該問題，開發者僅需將圖片上傳到雲端即可快速發佈新圖片的AR特效，端側應用版本無需更新，應用體積也不會因此而增加。
圖2. 端雲協同2D圖像跟蹤技術原理圖
端雲協同2D圖像跟蹤技術主要涵蓋了：
雲側圖像特征提取模塊
雲側向量檢索引擎
端側視覺跟蹤模塊
在提升雲端服務的響應速度方面，端雲協同2D圖像跟蹤技術利用硬體平臺加速，開發了軟硬協同的高性能向量檢索引擎，實現海量特征下的毫秒級檢索響應。
3D物體跟蹤技術
在文物介紹、商品展示、AR教育等場景，AR Engine還提供了端雲協同3D物體實時跟蹤技術。該技術能夠實現3D物體全息式信息展示效果
圖3. 端雲協同3D物體實時跟蹤技術效果圖
現實生活中，會存在不同紋理材質的3D物體，例如雕塑類的純色弱紋理材質，或者金屬器皿類的反光現象，3D物體也會受光線變化導致錶面出現陰影，這些場景都對3D物體跟蹤帶來很大的挑戰。為了實現在各種場景下均能快速準確的進行識別跟蹤，AR Engine使用多個AI網路組合完成3D識別定位功能，分別完成對象檢測、位姿粗定位、位姿優化。
圖4. 端雲協同3D物體跟蹤技術原理圖
端雲協同3D物體實時跟蹤技術主要涵蓋了：
雲側訓練樣本AI合成模塊
雲側AI網路自動訓練模塊
雲側AI網路推理模塊
端側視覺跟蹤模塊
在對AI網路進行演算法訓練時，傳統的訓練樣本人工標註方式，往往存在工作量大、開發周期長等問題。為此，AR Engine結合海量的離線數據和對抗生成策略，設計了訓練樣本的AI合成演算法，能夠免人工標註，僅依賴合成樣本就可以實現複雜場景下3D物體的精準識別。
端雲協同3D物體跟蹤技術在文物介紹場景，已助力華為河圖為莫高窟實現全息式文旅導游體驗，幫助游客隨時探究洞窟的內部細節。
圖5. 華為河圖的莫高窟全息式文旅導游效果圖
以上技術來自華為2012中央媒體技術院，通過AR Engine面向開發者開放，在廣告營銷、教育、文旅等場景為用戶帶來差異化的AR體驗。
更多AR技術的信息，歡迎收看5月27日19:00-20:00 HMS Core Discovery第15期直播，讓我們一起探索HMS Core AR Engine是如何幫助開發者們構築立體世界，打造沉浸式營銷的服務體驗。
歡迎訪問華為開發者聯盟官網-HMS Core AR Engine
瞭解更多詳情>>
訪問華為開發者聯盟官網
獲取開髮指導文檔
華為移動服務開源倉庫地址：GitHub、Gitee
關註我們，第一時間瞭解 HMS Core 最新技術資訊~
