科技日報北京記者 張夢然
美國哥倫比亞大學科學家設計出一種新型框架，使人形機器人面部能夠根據音頻生成逼真的唇部動作，實現與人類語音的同步。該技術還展示了較強的泛化能力，可推廣至包括法語、漢語和阿拉伯語在內的多種語言，即使這些語言并未出現在訓練數據中。研究團隊在發表于最新一期《科學·機器人學》上的論文中指出，這一進展是朝著構建不僅能執行功能，還能進行人性化交流的機器人邁出的重要一步。
在對話中，如果機器人的唇部動作與聲音不匹配，會顯得呆板且不自然。然而，現有機器人普遍缺乏執行精細口部動作的靈活性，能實時將語音轉化為自然唇部運動指令的技術也寥寥無幾。
研究團隊在2024年曾發表研究，描述了一種人形機器人面部可以預測人類的微笑并同時再現該表情。在此基礎上，為更加精細化唇部與聲音的匹配，團隊設計了一套學習流程：首先采集機器人唇部運動的視覺數據，用于訓練模型并生成運動參考點；隨后通過一個名為“面部動作轉換器”的模塊產生運動指令，使機器人的唇部能夠流暢配合不同詞語。他們還專門研制了一種人形機器人面部結構，采用柔軟硅膠皮膚，配合磁性連接器，具備10個自由度，可驅動復雜的唇部運動。其唇部結構能形成覆蓋24個輔音和16個元音的各種口型。
在驗證過程中，團隊借助ChatGPT生成測試語句，并合成了具有理想唇部動作的視頻作為對比基準。結果表明，該方法在5種比較方案中表現最優，其生成的唇部動作與理想視頻差異最小。此外，該框架還能為11種不同語音結構的非英語語言生成自然的唇部同步效果。
研究團隊推測，這類人形機器人在教育、老年護理等領域具有應用潛力。但他們也強調，未來的設計工作需格外謹慎，以防止技術被濫用。
總編輯圈點
現在，AI讓虛擬人物動嘴說話已經“不在話下”，然而讓機器人做到這點還相當困難。大多數機器人“說話”時并不動嘴，即使動嘴，也只是象征性一張一合。這次，科研人員試圖讓機器人擁有人類一般細膩、精準的唇部動作，教它們通過合成視頻以“照鏡子”的方式學習；還開發了硅膠皮膚，設計了面部機械系統。結果表明，機器人可以“學會”多種語言的唇部動作。不過，研究也不禁讓人思考，當機器人真的開口說話，“恐怖谷效應”是會加重還是減輕？
