VR 音頻混音入門：什么是空間音頻、3D 音頻和全景聲？
作者：Glenn Forsythe
編譯：Hotwill
當(dāng)筆者剛剛接觸到混音領(lǐng)域時(shí)，當(dāng)時(shí)正巧是大家都往音頻工程師和音樂人入坑的時(shí)候。那時(shí)候沒有明確的規(guī)則，只能靠練習(xí)獲取技能。我時(shí)常覺得能夠在音樂大沙漠里繼續(xù)堅(jiān)持是一件很幸運(yùn)的事情，直到有一天我和其他工程師遇到了一個(gè)迅速激增的需求點(diǎn) —— 3D 音頻，或者叫做空間音頻。
隨著虛擬現(xiàn)實(shí)不斷增長(zhǎng)，360 視頻正在占領(lǐng)傳統(tǒng)媒體的分發(fā)渠道，而對(duì)于擬真音頻的需求也比以往任何時(shí)候都更加強(qiáng)烈。空間音頻的概念也許聽起來非常直觀，但任何擁有音頻背景的人在聽到這個(gè)詞的時(shí)候都會(huì)自然的停下來好好的思考一番。
接下來就是一來連串的網(wǎng)絡(luò)搜索，但大都會(huì)面臨大量的專業(yè)術(shù)語、物理原理、研究材料和軟件的選項(xiàng)。不過幸運(yùn)的是，已經(jīng)有很多人已經(jīng)在 360 音頻領(lǐng)域開始了辛勤的耕耘，他們的工作方式更加容易理解并且能夠基于我們當(dāng)前的制作環(huán)境就能夠完成。
3D 音頻里其實(shí)還分為很多方向，本教程主要針對(duì)后期制作當(dāng)中的音頻處理，而非錄音。教程的制作環(huán)境基于 Pro Tools，本教程不會(huì)涵蓋 Unity 和 Unreal。事實(shí)上很多宿主軟件也開始重視 3D 音頻領(lǐng)域，所以你可以將本教程的概念用于其他宿主或者 Unity 和 Unreal 。
突破立體聲的概念
我被新手問到最多的問題，就是空間音頻和環(huán)繞聲有什么區(qū)別？在某種程度上說，空間音頻更像是對(duì)聲音進(jìn)行“定位”—— 當(dāng)你的眼鏡正視一個(gè)物體時(shí)，你的腦海中同時(shí)也能夠模擬出聲音的特定方向和位置。
近幾年來，混音工程師試圖用傳統(tǒng)立體聲和環(huán)繞聲的技術(shù)來達(dá)到空間音頻的深度�；旧蟻碚f，這可以通過通道振幅聲像來實(shí)現(xiàn)。在 5.1 環(huán)繞聲系統(tǒng)中，聽者可以對(duì)前方和近場(chǎng)水平方向的聲音進(jìn)行定位。雖然這提供了比立體聲更多的信息量，但這并沒有提供重要的聲音垂直高度信息，同時(shí)聽者也會(huì)有很多不可控的局限性。
首先并不是所有人都會(huì)有環(huán)繞聲的行頭，就算是立體聲配置也是很難得的，也許很多人甚至連“甜蜜點(diǎn)”的體驗(yàn)都沒有過。大聲場(chǎng)編排的概念也許會(huì)解決這些問題，到最后 VR 用戶也不需要這些復(fù)雜的前期準(zhǔn)備了。
現(xiàn)在已經(jīng)有一些技術(shù)針對(duì)媒體音箱進(jìn)行 3D 音頻的應(yīng)用，甚至藍(lán)牙立體聲音箱就能夠?qū)崿F(xiàn)。雖然這項(xiàng)技術(shù)更多是應(yīng)用在家庭影院而非 VR 用途，不過接下來一定會(huì)有更激動(dòng)人心的技術(shù)出現(xiàn)。
在現(xiàn)實(shí)世界中，我們通過兩只耳朵來獲取聲音，也就是傳說中的雙聲道。3D 音頻的真實(shí)意義就是引導(dǎo)我們的雙耳通過一個(gè)單一的雙聲道聲源（或者可以說是耳機(jī)）來接收聲音的定位信息，包括所有的方向和距離。
對(duì)于 VR 來說，當(dāng)驗(yàn)收最后成品時(shí)，空間音頻必須是要能夠互動(dòng)的 —— 聲源的位置隨著用戶的動(dòng)作產(chǎn)生變化。這是通過渲染引擎實(shí)現(xiàn)，它在將聲源信息通過雙聲道的形式傳遞給耳機(jī)的同時(shí)，也在收集用戶的位置信息。
耳機(jī)不僅更適合用于 VR 應(yīng)用場(chǎng)景，同時(shí)對(duì)于那些想要提升聽覺體驗(yàn)的用戶也擁有巨大的優(yōu)勢(shì) —— 很多人手上都有一副耳機(jī)，無需再專門投入專用的設(shè)備。
通過一個(gè)復(fù)雜的“頭部相關(guān)傳輸函數(shù)”算法，即 HRTF，就可以通過立體聲源模擬出人耳接收聲音時(shí)的心理聲學(xué)現(xiàn)象。HRTF 包含了物體形狀、人耳及頭部的尺寸、聲音到達(dá)人耳的不同時(shí)間，還有人的耳廓、耳道、人的頭蓋骨、肩部等對(duì)聲波的折射、繞射和衍射。在現(xiàn)實(shí)世界中，我們就是這樣對(duì)聲音進(jìn)行定位的。
目標(biāo)聲源（Object）在聲像當(dāng)中的移動(dòng)
如果說出了電腦和宿主軟件意外，我們需要的東西就是一副耳機(jī)，那么我們要如何在音樂制作環(huán)境下創(chuàng)造出這種神似感官的超酷體驗(yàn)？我們假設(shè)有個(gè)客戶提供了一個(gè) 360 相機(jī)拍攝的影像，他們需要你將聲音“空間化”。我們?cè)偌僭O(shè)你會(huì)得到錄音師的所有聲音素材，包括通過領(lǐng)夾式麥克風(fēng)和 Ambisonic 全景麥克風(fēng)錄制的素材。
即使你沒有聽過全景聲，很快你也會(huì)在現(xiàn)實(shí)中接觸到它。Ambisonic 全景聲可以追溯到 70 年代，這是一種多通道的空間音頻格式，可以說是專門用來模擬原始三維聲場(chǎng)效果的聲音系統(tǒng)。它與普通環(huán)繞聲最大的區(qū)別在于，除了水平環(huán)繞聲，Ambisonic 還增加了“高度”信息，也就是拾音位置或者聽眾上下的聲源。理解 Ambisonic 最直觀的方式就是了解心形麥克列陣的原理 —— 全景聲麥克風(fēng)與立體聲麥克風(fēng)技術(shù)有很多相似之處，只不過全景聲麥克風(fēng)把雙面振膜列陣變成了四面體的心形陣列形式，增加了另外的高度和深度通道。
既然我們都有了如此牛的 3D 全景聲錄音技術(shù)，為什么我們還需要領(lǐng)夾式麥克風(fēng)呢？出了一般混音工程的考量，將近場(chǎng)麥克風(fēng)聲源與遠(yuǎn)距離的麥克風(fēng)聲源相結(jié)合能夠創(chuàng)造出更豐富的頻率內(nèi)容。
就聲音空間化來說，全景麥克風(fēng)已經(jīng)可以做到很多事情，但要?jiǎng)?chuàng)造細(xì)致的空間信息還是不夠的。想象一下如果你把一個(gè)聲源放置在靠近麥克風(fēng)的位置，比如麥克風(fēng)的盲點(diǎn)，就會(huì)產(chǎn)生很大的頻率反饋?zhàn)兓�，�?dǎo)致聲像不明確。而在現(xiàn)實(shí)世界中，物體的移動(dòng)并不會(huì)人耳產(chǎn)生頻率變化。這明顯會(huì)影響到我們接受聲音位置的準(zhǔn)確性，尤其是麥克風(fēng)接受的信號(hào)增多，或是突然有其他聲源的加入。
任何直接信號(hào)和單聲道錄音都可以在 360 視頻和沉浸式媒體當(dāng)中代表一個(gè)虛擬組件，它們可以按照屏幕中影像的位置進(jìn)行放置。這些聲音并不一定要真實(shí)錄制，可以來自音色庫或者是你為影視內(nèi)容專門設(shè)計(jì)的聲音素材。
基于 Object 的聲像處理基于空間音頻的聲像處理之上，只不過 Object 是在空間范圍內(nèi)進(jìn)行移動(dòng)的，實(shí)際上它是通過聲源在雙聲道中進(jìn)行實(shí)時(shí)渲染來實(shí)現(xiàn)，同時(shí)不會(huì)對(duì)音質(zhì)造成任何影響。
轉(zhuǎn)自《midifan月刊》2018年5月第147期
| 【打印此頁】【返回首頁】 |