魏增來在2021國際音視頻智慧集成展（深圳）
“音視頻技術在文體旅游中的創(chuàng)新應用”上的演講

1 音視頻技術與文旅演藝的關系

文旅演藝的本質是體驗，體驗的主要感知手段是視覺和聽覺，與之相對應的學科即為現(xiàn)代電子技術中的音視頻技術。因此，音視頻技術在文旅演藝領域得到越來越多的應用，發(fā)揮著越來越大的作用。

良好的文旅演藝體驗在于真實重現(xiàn)和讓人感到“真實”的虛擬創(chuàng)造，或者是兩者的適度結合。兩者的區(qū)別在于，一個確實存在于現(xiàn)實世界中，人類的既往感知有過類似的經驗，可以在情緒中產生映射，只是感知的時空發(fā)生了轉換而已；另外一個則不存在于現(xiàn)實世界，以寫意手法仿效或創(chuàng)造視覺聽覺的象征，讓人類通過聯(lián)覺或通感體驗到從未感知過的情景，這種情景可以具象，如太空外星人、恐龍世界，也可以抽象，如玉淵潭文旅項目“萬物共生”里的五彩花徑（如圖1所示）等。但這兩者在文旅應用中的相同點都是營造所謂“真實”，通過“包圍感”、“沉浸感”和觀演之間的有效“互動”，讓觀眾產生“代入感”，從而“身臨其境”、“心獲其感”，由“共境”引發(fā)“共情”，使體驗感升華。

圖1 玉淵潭“萬物共生”中的五彩花徑

除此之外，文旅演藝項目大都長期展演，在具體操作層面也有很多痛點難點。最顯著的問題是技術手段越來越多，使用也越來越復雜，亂花漸欲迷人眼。如何化繁為簡，讓各類呈現(xiàn)手段“智慧”起來，避免犯錯誤、出問題，不影響正常展演，同時節(jié)省人力物力投入，才能實現(xiàn)更好的投入產出比。

為滿足上述這兩大類需求，音視頻技術需要與時俱進，創(chuàng)新發(fā)展，與具體文旅演藝場景下的應用需求形成相互支撐、相互促進、相互融合的局面，這也是任何事物進步的必然規(guī)律。實際的演化也是如此，音視頻技術發(fā)展進一步推高了文旅演藝呈現(xiàn)能力和需求標準，而需求標準的提升又反過來促進了音視頻技術的發(fā)展，兩者形成了良好的正向互動循環(huán)。

2 相關音視頻技術新進展

隨著信息處理技術及網(wǎng)絡技術的飛速發(fā)展，各類信息的實時處理能力得到前所未有的提升，音視頻信息的處理能力也同樣如此。之前具有一定理論基礎，但受制于運算能力而無法得到實現(xiàn)和驗證的技術當前很多都得以實現(xiàn)，雖然這些技術距離理想狀態(tài)還有一定的差距或者瑕疵，但并不妨礙業(yè)界據(jù)此進行大量的嘗試和探索。此類探索除了滿足當前文旅領域的常規(guī)需要外，還逐步順應上述文旅演藝呈現(xiàn)的需求，在“代入感”以及“智慧”兩個方面，形成了一定的發(fā)展趨勢，因此為相關呈現(xiàn)提供了更好的、也更易于使用的手段，讓藝術家們可以在更高的層面上以更高的效率展開創(chuàng)意和應用。

嚴格來說，這種“代入”以及“智慧”是多方面結合的產物，也可以認為是多維度融合的共同成果。為了便于闡述，筆者依然分為音頻、視頻以及控制三大類別。

2.1 音頻技術

音頻技術方面，為了實現(xiàn)所謂“代入感”以及“智慧”，以下幾種新技術尤為受關注，并有越來越多的應用。

2.1.1 沉浸式擴聲技術

沉浸式擴聲技術主要目的是為了重構聲音元素，基于具體聲源營造“真實”，以假亂真。文旅項目中通常以揚聲器重放為主，小型項目也可能采用耳機進行重放。

揚聲器重放方面，基于“對象（Object）”展開的沉浸聲制作，現(xiàn)在基本上已成為業(yè)界共識，其底層理論基本可以歸結如下。

VBAP/DBAP/KNN等，以能量和距離等參量在不同揚聲器之間的配比設定對象的空間數(shù)據(jù)。

HOA，基于球諧函數(shù)分解在不同揚聲器之間設定對象的空間數(shù)據(jù)。

WFS，基于波場合成理論在不同揚聲器之間設定對象的空間數(shù)據(jù)。

受制于揚聲器空間布局、數(shù)量以及其本身電聲學特性等多種因素，通常來說，單一的底層基礎理論并不能較好地實現(xiàn)揚聲器重放時的沉浸聲效果。因此，目前商用的沉浸式系統(tǒng)大都采用多重底層理論相結合的方式來設定自身的算法，以在呈現(xiàn)效果、系統(tǒng)造價以及安裝施工便捷度等方面取得較好的平衡。

因為沉浸式擴聲具有更好的體驗感，所以目前的商用市場，很多廠商已經推出了相應的產品并在國內外進行了諸多實際探索。例如，采用d&b Soundscape系統(tǒng)的音樂劇《新華報童》（見圖2）、采用WFS為主的Sonic Emotion系統(tǒng)的《遠去的恐龍》、采用L-Acoustic L-ISA系統(tǒng)的法國南特狂人國環(huán)形秀場（見圖3）等；更值得一提的是，國內已有專業(yè)公司展開了這一方面的研發(fā)生產，并已提供了可以商用的產品， 如深圳易科公司的ezAcoustic X-Core系統(tǒng)（見圖4）。此前筆者曾多次撰文提出，鑒于基礎理論的共同性以及DSP技術的共享性特征，國內通過音頻算法的研發(fā)來追趕音頻領域的世界先進水平可能是一條相對快捷的途徑。雖然目前上述探索仍然存在著很多不足，但任何事務的發(fā)展規(guī)律均是如此，因此這些創(chuàng)新實踐依然非常值得鼓勵和肯定。

圖2 音樂劇《新華報童》的沉浸式擴聲系統(tǒng)

圖3 采用L-ISA系統(tǒng)的法國南特狂人國環(huán)形秀場

圖4 前期預混過程中的易科ezAcoustic X-Core系統(tǒng)

在耳機重放方面，其底層理論均基于雙耳效應（Binaural），應用上更多地體現(xiàn)在頭相關傳遞函數(shù)（HRTF）及其變化上，如個性化的頭相關傳遞函數(shù)（PRTF）以及包含空間環(huán)境條件的頭相關傳遞函數(shù)等。國內外公司在這方面均進行了很多探索嘗試，包括英國DIGICO集團的Klang系統(tǒng)、中國上海費迪曼遜四維與外方合作的SVS系統(tǒng)等。

2.1.2 電子聲學環(huán)境可變技術

電子聲學環(huán)境可變技術主要目的是為了虛擬特定的聲學環(huán)境，在空間感上營造“真實”。該技術是由原電子可變混響系統(tǒng)而來，受制于目前的技術發(fā)展，只能虛擬相對更為“活躍”的聲學空間，最終將與上述沉浸式擴聲技術融合，完成對聲音情景主要要素的虛擬重構。其主要分為三大類。

再生式系統(tǒng)：再生式系統(tǒng)，如MCR、CARMEN等，該類系統(tǒng)充分利用廳堂的固有擴散聲能并予以反饋放大，最終效果能夠充分保留廳堂固有的聲學特征，但其回授前增益不好控制，因此，更適用于廳堂固有聲學環(huán)境較為豐富的場所，且不建議設置過大的可變范圍。

回路嵌入式系統(tǒng)：回路嵌入式系統(tǒng)，以ACS、E-Coustic（LARES）以及VIVACE第一代等為主要代表，它們以聲源的直達聲為基礎，通過優(yōu)良的混響算法和強大的DSP處理能力，可以人為“合成”出一個聲學空間，因此具有非常寬泛的調整范圍和靈活多變的調整能力，能夠獲得較高的回授前增益，但它們引入了人工成分，與廳堂本身的相關性較差，因此，適用于相對不活躍（相對較“干”）且希望應用功能跨度很大的空間。圖5即為采用E-Coustic系統(tǒng)的美國芝加哥千禧年公園戶外音樂廳，通過可變聲學環(huán)境系統(tǒng)將一個室外公園在一定程度上營造出了室內音樂廳的聽感。

圖5 采用E-Coustic系統(tǒng)的美國芝加哥千禧年公園戶外音樂廳

混合再生式系統(tǒng)：混合再生式系統(tǒng)是再生式系統(tǒng)和回路嵌入式系兩種系統(tǒng)的混合體，主要代表為AFC、Constellation（VRAS）以及VIVACE Ⅱ，它們所適用的廳堂范圍更廣，但需要更有針對性地設計及調試。

2.1.3 揚聲器指向電子控制技術

在不改變揚聲器物理角度的情況下，通過電子相控技術及波束形成技術，實現(xiàn)揚聲器覆蓋區(qū)域的調整，非常適用于文旅場景下觀演區(qū)的靈活變化。

2.1.4 聲場智能調試及優(yōu)化技術

利用大數(shù)據(jù)以及信號檢測技術進行聲場的智能調試或自適應調試，優(yōu)化聲場效果，提高現(xiàn)場調試效率，提升系統(tǒng)的穩(wěn)定性。

關于后續(xù)兩類技術，筆者已多次在其他文章中予以介紹，不再贅述。

2.2 視頻技術

對于視頻方面，同樣通過“沉浸”、“互動”以實現(xiàn)“代入感”，同時通過“智慧”以提高可操作性，目前主要有如下幾種技術。

2.2.1 三維映射（3D Mapping）

三維映射通過對被投射物體的3D建模，以將顯示內容準確映射其上，實現(xiàn)視覺效果與周圍基礎環(huán)境的有效融合，形成虛實結合的效果。圖6為基于法國沙特爾市圣母大教堂而進行的外墻立體顯示光影秀。

圖6 法國沙特爾圣母大教堂三維映射光影秀

2.2.2 沉浸式空間

通過巨幅或多維度視覺呈現(xiàn)，在視覺上形成包圍感；進一步融合觀、演關系，加強“真實”體驗下的代入感。圖7為法國巴黎光之博物館的沉浸式空間顯示的實景照片。

圖7 法國巴黎光之博物館沉浸式空間顯示展廳

2.2.3 特殊顯示（水幕、紗幕、透明屏、網(wǎng)屏等）

利用虛擬呈現(xiàn)與現(xiàn)實場景的結合，增強視覺的縱深體驗，實現(xiàn)與周圍基礎環(huán)境的融合，讓虛擬內容更具“真實”感，并豐富呈現(xiàn)的變化。圖8為唐山南湖公園云鳳島紗幕虛實結合的顯示效果。

圖8 唐山南湖公園云鳳島紗幕顯示

2.2.4 裸眼3D

在平面顯示媒介上，利用制作端相關技術，使顯示內容呈現(xiàn)立體視覺的“真實”感。圖9為曾被微信刷屏的成都太古里裸眼3D大屏顯示效果。

圖9 成都太古里裸眼3D大屏顯示（本圖片來自于網(wǎng)絡）

2.3 控制技術

對于文旅演藝應用的音視頻控制技術方面，其發(fā)展演化以更好地實現(xiàn)“互動”“智慧”為主，一方面提升觀與演的關系，增加代入感，另一方面降低技術使用的操作難度，提高效率。目前具有代表性的主要技術如下。

2.3.1 追蹤捕捉技術

追蹤捕捉技術是通過GPS或射頻定位等技術與音視頻技術的結合，實時進行音視頻信息的動態(tài)跟隨，實現(xiàn)互動性，展現(xiàn)真實感。目前常見的商用產品如加拿大的BlackTrax系統(tǒng)、挪威TTA公司的Stagetracker Ⅱ系統(tǒng)等。

2.3.2 聲光電融合一體化的Show Control總控技術

Show Control總控技術將演藝呈現(xiàn)的主要載體聲光電系統(tǒng)進行有效整合，并按一定基準實現(xiàn)總體自動化控制，從而確保演藝呈現(xiàn)順利進行，降低技術操作難度。圖10和圖11分別為法國Modulo π PLAYER和瑞士MERGING Ovation的一體化Show Control控制界面。

圖10 法國Modulo π PLAYER一體化Show Control控制界面示意圖

圖11 MERGING Ovation一體化Show Control控制界面示意圖

3 文旅演藝與音視頻新技術的融合應用實踐

視聽是不可分割的，為了在體驗中構建所謂“真實”，視聽必須融合，共同完成對人類感知的映射。因此，在以體驗為主的文旅演藝領域，“融合”成為關鍵詞。

對文旅演藝呈現(xiàn)而言，融合應該是多維度的，既是藝術與技術的融合，也是技術與應用的融合。融合應用的核心目標是實現(xiàn)“沉浸”“互動”所體現(xiàn)出來的真實感和應用中的“智慧”度。那么，在這種融合之下，具體實現(xiàn)至少包括：呈現(xiàn)手段與現(xiàn)實環(huán)境的融合、呈現(xiàn)手段間的相互融合，以及演與觀的融合。翻譯成技術語言，前兩者可以概括為“沉浸”，即通過與所處環(huán)境（或刻意營造的虛擬環(huán)境）相匹配的視覺聽覺的統(tǒng)一，產生代入感，而后者可以概括為“互動”，通過互動，也會產生情景交融的代入感，實現(xiàn)“共情”。所以，這種“沉浸”和“互動”都是為了前文所謂的“身臨其境”和“心獲所感”。

《遠去的恐龍》（圖12）中，通過巨幅LED屏顯示與舞美制作實景的虛實結合等方法，首先在視覺上形成較好的“沉浸”感；同時，通過原WFS沉浸式擴聲系統(tǒng)，使觀眾在聽覺上也形成較好的“沉浸”感，視聲結合即可對觀眾形成較好的代入感；再通過機械恐龍與前排觀眾的互動，進一步加強這種代入感，從而讓觀眾“真實地”感受到了虛擬的恐龍世界，以多種維度提升體驗感。同時，通過Ovation一體化控制技術，統(tǒng)一協(xié)調聲光電系統(tǒng)的演出進程，將原本復雜的操作進行簡化，最大限度地避免失誤。

圖12 《遠去的恐龍》劇照

同理，法國ECA2公司在中國蘭州創(chuàng)作演出的 《盤古傳奇》（見圖13）中，特別強調了所謂沉浸（Immersive）概念，通過法國Modulo π視頻綜合服務器，在建筑結構上進行巨幅三維映射以及水幕顯示，同時通過Modulo π聲光電一體化控制技術，有機結合了機械、燈光、水特效、火特效等多種呈現(xiàn)手段，多維度的技術融合給現(xiàn)場1 500名觀眾帶來了極具震撼力的感官體驗和沖擊感。

圖13 《盤古傳奇》現(xiàn)場演出圖片

4 目前面對的問題

技術的發(fā)展永遠沒有盡頭。當前，雖然音視頻新技術在文旅演藝呈現(xiàn)中起到了很大幫助作用，但仍有大量問題有待業(yè)界思考并解決，主要問題如下。

在呈現(xiàn)端，無論音頻、視頻，仍未真正解決“真實”的問題，即所還原的元素還是不太像。

在呈現(xiàn)端，觀演“交互”的程度依然很淺，觀眾參與度以及由此引發(fā)的代入感仍需提升。

在控制端，人機交互界面仍然不夠人性化，即還不是那么“智慧”，操作使用的便利度依然存在提升空間。
音頻、視頻設備相對獨立性過強，依然欠缺互相融合方面的深入思考。

在實現(xiàn)端，鑒于文旅演藝應用場景通常具有廣大的觀演空間，因此分布式處理需求強烈，同時線纜衰減、敷設工作量等問題較為突出，如何更為快捷高效，如“全無線”方式等解決方案需不斷思考改進。

文旅演藝呈現(xiàn)高頻次、長周期的應用特征對音視頻系統(tǒng)的安全可靠性提出了嚴峻考驗，所有設備都應在滿足功能的情況下適應各種環(huán)境的需要。

無論怎樣，科學和社會終將不斷進步。音視頻技術讓文旅演藝的體驗更加美好，讓生活更加美好！