最近幾年來(lái)，很多人都在使用降噪耳機(jī)。這種設(shè)備能讓人在吵鬧的環(huán)境中享受安靜，安心地聽(tīng)音樂(lè)或工作。

　　通常，降噪耳機(jī)會(huì)通過(guò)內(nèi)置的芯片算法對(duì)外界噪音信號(hào)進(jìn)行計(jì)算，然后由喇叭發(fā)出反向聲波進(jìn)行抵消的方式創(chuàng)造安靜環(huán)境。

　　不過(guò)安靜歸安靜，大多數(shù)情況下人們還是需要交流的，這就帶來(lái)了不小的挑戰(zhàn)。人們?cè)岢鲞^(guò)各種解決方案，比如蘋(píng)果最新款的 AirPods Pro 就會(huì)自動(dòng)調(diào)整，如果耳機(jī)感知到人在說(shuō)話就會(huì)停止降噪，但用戶(hù)是無(wú)法控制聽(tīng)誰(shuí)說(shuō)話，或何時(shí)關(guān)掉降噪的。

　　近日，華盛頓大學(xué)的一個(gè)團(tuán)隊(duì)開(kāi)發(fā)了一種 AI 系統(tǒng)，讓戴著耳機(jī)的用戶(hù)看著說(shuō)話的人三到五秒鐘來(lái)「記錄」他們。

　　該系統(tǒng)名為「目標(biāo)語(yǔ)音聽(tīng)覺(jué)」（Target Speech Hearing），能驅(qū)動(dòng)降噪耳機(jī)消除環(huán)境中的所有其他聲音，并實(shí)時(shí)播放已記錄的說(shuō)話者的聲音。這樣一來(lái)，即使聽(tīng)眾在嘈雜的地方走動(dòng)并且不再面對(duì)說(shuō)話者，也不會(huì)丟失重要信息了。

　　華盛頓大學(xué)團(tuán)隊(duì)于 5 月 14 日在檀香山舉行的 ACM CHI 計(jì)算機(jī)系統(tǒng)人因會(huì)議上展示了他們的研究成果，還獲得了大會(huì)的最佳 lunwen。概念驗(yàn)證設(shè)備的代碼已經(jīng)開(kāi)源，可供他人使用。

　　然后，來(lái)自該說(shuō)話者聲音的聲波會(huì)同時(shí)到達(dá)耳機(jī)兩側(cè)的麥克風(fēng)，誤差幅度為 16 度。耳機(jī)將該信號(hào)發(fā)送到板載嵌入式計(jì)算機(jī)，其中的機(jī)器學(xué)習(xí)軟件會(huì)在那里學(xué)習(xí)所需說(shuō)話者的聲音模式。

　　系統(tǒng)會(huì)鎖定該說(shuō)話者的聲音，并繼續(xù)將其播放給聽(tīng)者，即使這對(duì)說(shuō)話者不斷變化站位，四處走動(dòng)也能保持跟隨。

　　實(shí)現(xiàn)了帶有噪聲示例的注冊(cè)網(wǎng)絡(luò)。設(shè)計(jì)并比較了兩個(gè)不同的注冊(cè)網(wǎng)絡(luò) —— 波束形成器網(wǎng)絡(luò)和知識(shí)蒸餾網(wǎng)絡(luò) —— 以使用短雙耳噪聲示例即可有效生成一個(gè)可捕捉目標(biāo)說(shuō)話人特征的嵌入向量。

　　實(shí)時(shí)嵌入式的目標(biāo)語(yǔ)音聽(tīng)覺(jué)網(wǎng)絡(luò)。TSH 使用生成的嵌入，隨后使用 IoT 級(jí)別 CPU 上實(shí)時(shí)運(yùn)行的優(yōu)化網(wǎng)絡(luò)提取目標(biāo)語(yǔ)音。為此，研究者探索了各種模型和系統(tǒng)級(jí)優(yōu)化，實(shí)現(xiàn)了在嵌入式設(shè)備上實(shí)時(shí)運(yùn)行的輕量級(jí)目標(biāo)語(yǔ)音聽(tīng)覺(jué)網(wǎng)絡(luò)。

　　推廣到現(xiàn)實(shí)世界的多徑、HRTF 和移動(dòng)性。作者提出了一種訓(xùn)練方法，僅使用合成數(shù)據(jù)，也可以保證系統(tǒng)不會(huì)被現(xiàn)實(shí)世界中未見(jiàn)過(guò)的目標(biāo)干擾。

　　此外，該研究明確使用多路徑進(jìn)行訓(xùn)練，以推廣到室內(nèi)和室外環(huán)境。作者還引入了一種微調(diào)機(jī)制，可以解決移動(dòng)源和聽(tīng)眾頭部方向的突然變化（高達(dá) 90°/s 的角速度），并允許系統(tǒng)在注冊(cè)期間處理聽(tīng)者頭部方向多至 18° 的誤差。

　　具有噪聲消除功能的端到端目標(biāo)語(yǔ)音聽(tīng)力系統(tǒng)。（b）一對(duì) Sony WH-1000XM4 耳機(jī)在各個(gè)頻率下啟用和不啟用主動(dòng)噪聲消除的噪聲隔離性能。低頻下較大的值是由于入耳式麥克風(fēng)拾取了佩戴者的聲音。（c）模型推理時(shí)間的 CDF 圖，包括和不包括從輸出到輸入的緩存緩沖區(qū)副本。

　　「如今，很多人把人工智能等同于基于網(wǎng)絡(luò)的聊天機(jī)器人，可以回答問(wèn)題，」華盛頓大學(xué)保羅?G?艾倫計(jì)算機(jī)科學(xué)與工程學(xué)院教授、該研究主要作者 Shyam Gollakota 說(shuō)道。「但在這個(gè)項(xiàng)目中，我們開(kāi)發(fā)的 AI 可根據(jù)佩戴耳機(jī)的人的偏好來(lái)改變他們的聽(tīng)覺(jué)感知。有了我們的設(shè)備，即使身處嘈雜的環(huán)境中，有很多人在說(shuō)話，你現(xiàn)在也可以清楚地聽(tīng)到單個(gè)說(shuō)話人的聲音?！?/p>

　　該團(tuán)隊(duì)對(duì) 21 名志愿者測(cè)試了該系統(tǒng)，受試者對(duì)已注冊(cè)說(shuō)話者聲音清晰度的評(píng)分平均幾乎是未過(guò)濾音頻的兩倍。

　　目前 TSH 系統(tǒng)一次只能注冊(cè)一個(gè)對(duì)話人，且只有在沒(méi)有其他巨大聲音從目標(biāo)說(shuō)話人相同方向傳來(lái)時(shí)才能注冊(cè)說(shuō)話人。如果用戶(hù)對(duì)音質(zhì)不滿(mǎn)意，則可以對(duì)說(shuō)話者進(jìn)行另一次注冊(cè)以提高清晰度。

　　本文為澎湃號(hào)作者或機(jī)構(gòu)在澎湃新聞上傳并發(fā)布，僅代表該作者或機(jī)構(gòu)觀點(diǎn)，不代表澎湃新聞的觀點(diǎn)或立場(chǎng)，澎湃新聞僅提供信息發(fā)布平臺(tái)。申請(qǐng)澎湃號(hào)請(qǐng)用電腦訪問(wèn)。

上一篇:再也不用帶耳塞了！這種薄如蟬翼的隔音新材料竟是“消音神器”！
下一篇:降噪耳機(jī)是怎么降噪的