華為開發者大會2022（HDC）上，HMS Core手語數字人以全新形象亮相，併在直播中完成了長達3個多小時的實時手語翻譯，向線上線下超過一千萬的觀眾提供了專業、實時、準確的手語翻譯服務，為聽障人士提供了無障礙參會體驗。面對專業性強且辭彙量大的科技大會，HMS Core手語數字人是如何準確且流暢地打 ...
華為開發者大會2022（HDC）上，HMS Core手語數字人以全新形象亮相，併在直播中完成了長達3個多小時的實時手語翻譯，向線上線下超過一千萬的觀眾提供了專業、實時、準確的手語翻譯服務，為聽障人士提供了無障礙參會體驗。面對專業性強且辭彙量大的科技大會，HMS Core手語數字人是如何準確且流暢地打出手語的？
【解決三大技術難題，科技辭彙信“手”拈來】
直播中的實時手語翻譯較傳統翻譯和文本轉手語的翻譯更為複雜，主要在於語音識別過程中各類場景聲學環境複雜難部署；手語辭彙數據量少，尤其是專業領域辭彙較為匱乏；同時，手語語言具有獨特的語序邏輯，並非按照日常說話順序逐字翻譯，而要對語句進行語序調整，比如“我有許多朋友，其中既有健聽人，也有聾人”的手語語序是“我/朋友/多，聽人/有，聾1/有”。由於手語視覺語言的獨特性，手語表達中表情、動作位置、動作方向、體態變化、動作幅度大小等都是影響手語可懂度的重要因素。
“我有許多朋友，其中既有健聽人，也有聾人。”的手語語序是
“我/朋友/多，聽人/有，聾1/有。”
為了讓手語數字人實現高可懂度的AI手語能力，HMS Core手語服務技術團隊整合了“語音、手語”全鏈路的AI能力，解決了三大技術點：語音識別的準確度、手語翻譯的準確度、手語動作的流暢度與節奏感。
首先，為了確保直播中演講者語音能被精準識別，尤其是大量中英文混合的技術名詞，HMS Core手語數字人語音識別功能，採用動態的流式聲學建模技術，實現了1秒以內即可出識別結果，同時藉助熱詞等定製手段，專業術語的識別效果也得到了定向優化，這為手語數字人下一步的手語翻譯提供了高精準度的文本基礎。
在手語翻譯準確度方面，HMS Core手語服務專門組織了一個動作優化團隊，併在機器翻譯、手語轉寫等演算法方面進行了創新：通過機器翻譯演算法，中文表達可快速轉寫為手語表達，並自動進行詞序調整、詞義消歧、表情分析；通過雙重遷移學習等方法，讓演算法理解句子的語義和語境，並準確估計出每個手語詞對應的體態、表情及口型，實現手語動作、體態、表情、口型全方位地生動表達，有效提升手語轉寫的準確率及速度。
此外，手語生成方案融合了大量手語語言學研究成果，通過調整詞、片語、句子之間的停頓及速度等，增強節奏感。同時，參考新聞手語主播的手語打法，預訓練模型的語句濃縮演算法，可將複雜的長句濃縮為簡單的短句，並基於語義進行翻譯，最終生成流暢且符合聽障人士表達習慣的手語動作。
對於在HDC大會上常用的科技辭彙“華為”，“鴻蒙”及“人工智慧”等，其標準打法已納入HMS Core手語辭彙庫。而對於大會上“原子化服務”等較少見的組合型專業辭彙，則按字面意思將其拆解成“原子”“化”“服務”三個手語動作，同時生成對應的口型。
【產品競爭力躍升，從技術創新到產業應用】
HMS Core手語服務經過一年多的發展和技術迭代，目前已支持2萬+中文手語辭彙，匹配日常溝通交流、新聞、教育、政務辦理等豐富場景。當前手語數字人不僅能流暢地打出手部動作，還有豐富的表情和準確的口動，從微笑、開心到驚訝、疑惑、失望等，多達26種表情，靈動又逼真，做到了“聽得準”、“翻得對”、“打得好”，更好地為保障聽障者的社會參與提供了助力。
目前，HMS Core手語服務已攜手音書、知音、暢聽無礙、開普雲、棉花糖科技、未來媒體、硅基智能等眾多開發者，成功將AI手語翻譯能力應用在各行各業，完善了無障礙環境建設。暢聽無礙app，通過集成HMS Core手語服務，在應用內實現了AI手語翻譯功能，讓聽障人士隨需隨用，滿足他們在日常生活中溝通交流、學習娛樂的需求，同時還能幫助他們在政府、醫療、金融、法律等專業公共服務領域實現無障礙交流。
HMS Core手語服務的應用將不斷助力開發者搭建更好的無障礙傳播環境，幫助聽障者更好地享受信息化發展成果，為他們帶來更多陪伴、更多實時交互以及更深的情感聯結。未來，HMS Core手語服務，將持續踐行“科技，不讓任何一個人掉隊”，與廣大開發者伙伴一起，助力構建數字生態，讓無障礙體驗惠及更多人。如需進一步瞭解，請訪問HMS Core手語服務。
瞭解更多詳情>>
訪問華為開發者聯盟官網
獲取開髮指導文檔
華為移動服務開源倉庫地址：GitHub、Gitee
關註我們，第一時間瞭解 HMS Core 最新技術資訊~
