當(dāng)6億用戶習(xí)慣每天通過QQ發(fā)送語音和進行視頻通話，或者在群里與網(wǎng)友語音接龍完成一場Pia戲，又或是與好友一起派對語音答題的時候，大家可曾想過，在不同場景下始終清晰、流暢的QQ音視頻體驗背后，到底是什么黑科技在支撐這些場景中“聲”與“話”的美好？
今年11月16日召開的谷歌2021開發(fā)者大會期間，大會官網(wǎng)更新了一則案例——《TensorFlow助力：AI語音降噪打造QQ音視頻通話新體驗》，作者正是QQ音視頻通話技術(shù)團隊。作為谷歌TensorFlow的優(yōu)秀應(yīng)用案例，騰訊QQ團隊在該文中詳細揭秘了語音增強技術(shù)在QQ音視頻功能中的研發(fā)與應(yīng)用。
借助TensorFlow，QQ搭建AI降噪模型訓(xùn)練框架
在如今的應(yīng)用市場中，音視頻通話功能幾乎已成為APP的標(biāo)配。2021年10月份AppStore中國區(qū)下載榜前100名中，超過70%的APP配備音視頻通話功能。音視頻功能的體驗，是衡量一款A(yù)PP體驗是否優(yōu)秀的重要指標(biāo)。
而優(yōu)化音視頻通話質(zhì)量，降噪算法是核心技術(shù)之一。
目前，主流降噪方案主要有傳統(tǒng)降噪和AI降噪兩種。傳統(tǒng)降噪方法計算量低，具有實時進行語音降噪的優(yōu)勢，但與此同時，因其基于數(shù)學(xué)和物理原理進行推導(dǎo)，過程中難免基于人認知的理想先驗假設(shè)，這使得傳統(tǒng)降噪對實際場景中頻發(fā)的多種類、非平穩(wěn)噪聲表現(xiàn)不佳。
AI 降噪是最近興起的基于數(shù)據(jù)驅(qū)動的降噪方法，能夠有效的應(yīng)對各種突發(fā)的非平穩(wěn)噪聲，但前期需要經(jīng)過大量的數(shù)據(jù)訓(xùn)練，以及搭建合適的數(shù)據(jù)模型作為基礎(chǔ)。而模型在移動端的部署，需要權(quán)衡模型大小、降噪效果、CPU 占用率和內(nèi)存占用率等多個因素，由此給降噪技術(shù)的實現(xiàn)帶來了一定的挑戰(zhàn)。
為解決6億用戶對QQ音視頻的龐大需求，騰訊QQ 團隊基于開源TensorFlow機器學(xué)習(xí)平臺，搭建了 AI 降噪與噪聲場景分類的并行訓(xùn)練框架，并設(shè)計了音頻降噪、音質(zhì)提升和模型優(yōu)化算法。
噪聲數(shù)據(jù)的多樣性是提高降噪模型泛化性的關(guān)鍵，因此，在訓(xùn)練模型時，騰訊QQ團隊通過若干等時長音頻數(shù)據(jù)的“投喂”和場景訓(xùn)練，結(jié)合合適的數(shù)據(jù)擴充，進一步提升了模型泛化能力，結(jié)合精細化設(shè)計的網(wǎng)絡(luò)結(jié)構(gòu)，能夠讓 AI 降噪模型適應(yīng)生活中常見的幾百種噪聲，為用戶提供具有 AI 加持的智能通訊體驗。
同時，騰訊QQ團隊還借助 TensorFlow Lite 的量化功能減小模型尺寸，在模型的降噪效果基本不受影響的前提下，極大提升了性能優(yōu)勢并成功部署到產(chǎn)品功能中。
AI 降噪算法+蒸餾技術(shù)模型優(yōu)化，打造實時、高質(zhì)量的清晰通話體驗
在案例中，騰訊QQ團隊指出，AI降噪算法包括音頻降噪模塊和音質(zhì)提升模塊兩大方面。
音頻降噪模塊主要是通過針對帶噪聲音頻中的干凈人聲進行建模，再提取出帶噪音頻的頻域特征，將帶噪聲音頻與干凈音頻的的頻域特征進行對比和計算，從而使AI對人聲之外常見的開門聲、鍵盤聲、走路聲等音頻具備更精準(zhǔn)的識別能力和降噪處理，從嘈雜環(huán)境中剝離出干凈語音。
在此基礎(chǔ)上，騰訊QQ團隊又加入了音質(zhì)提升模塊，以平衡降噪幅度，確保噪聲去除的更加干凈，同時避免導(dǎo)致其它有用的音頻被消音，確保實時降噪過程中“有用的信息都進來，無用的噪音都隔離”。
當(dāng)代人生活更加多元，餐廳、咖啡館、車廂、影院以及街道、小區(qū)等不同場景，晴天、雨天、臺風(fēng)天等不同天氣，也都伴生著不同種類的噪聲，也都有可能對用戶的音視頻體驗帶來干擾。
為測試AI降噪面向不同場景的深度優(yōu)化能力，騰訊QQ團隊還選取了辦公場景下常見的百種噪聲：鍵盤聲、關(guān)門聲、風(fēng)扇聲等噪音，結(jié)合干凈人聲按照 0dB、5dB、10dB 和 15dB 信噪比制作混合音頻，分別測試原始降噪模型以及采用蒸餾技術(shù)提升后的AI-Denoise-student模型的表現(xiàn)。
騰訊QQ黑科技亮相2021谷歌開發(fā)者大會官網(wǎng)，基于TFlite部署AI語音降噪
測試結(jié)果顯示，短時目標(biāo)清晰度(STOI)與語音質(zhì)量的感知評估（PESQ)均有所提升，并且隨著降噪量的提升，AI降噪效果的優(yōu)勢還能進一步凸顯。
優(yōu)質(zhì)的社交功能體驗，往往藏在用戶“看不見”的地方
社交軟件幾乎占據(jù)了當(dāng)代人使用手機的大半時間，它不僅是人們?nèi)粘＝煌兄陵P(guān)重要的工具，同時也緊密關(guān)系著用戶體驗與社交質(zhì)量。
而在每一條文字或語音信息的背后，在每一通音頻或視頻通話的背后，都有來自無數(shù)環(huán)節(jié)的技術(shù)支持,每一個環(huán)節(jié)的優(yōu)劣，也都關(guān)系著用戶體驗的好壞——用一句比較流行的話來說，就是“用盡了全身力氣，才能顯得毫不費力”。
騰訊QQ團隊基于TensorFlow研發(fā)的降噪技術(shù)，能夠通過AI算法帶來智能的降噪功能和清晰、干凈的音視頻體驗，對于行業(yè)難點之一的音頻降噪同時保證音質(zhì)效果，也有了針對性的優(yōu)化方案，對語音質(zhì)量和視頻通話帶來更好的技術(shù)保障。
騰訊QQ一直專注社交與溝通，致力于提供優(yōu)質(zhì)的社交體驗。許多音視頻相關(guān)的功能如趣味變聲、語音暫停等功能都率先出現(xiàn)在QQ中。這些功能也受到了年輕人的普遍喜愛。據(jù)悉，騰訊QQ未來還將在AI基礎(chǔ)算法、模型方面加強研究，拓展更多元的社交應(yīng)用場景。
附錄：
TensorFlow 助力：AI 語音降噪打造 QQ 音視頻通話新體驗
