本周,蘋果召開瞭WWDC全球開發者大會,大會結束過後所有媒體基本上都表示出瞭失望的情緒。首先沒有發佈任何新硬件,其次在系統方面的更新也乏善可陳。目前開放的iOS15測試版本基本上也都是一些軟件層面的改善,安卓用戶普遍表示多少年前就已經用上瞭。
相對比較吸引人的手機、平板、電腦之間跨屏幕交互的體驗,目前還沒有實裝,所以首先效果還不明朗。另外這個所謂“前所未有的效果”就在幾天前已經被鴻蒙搶先帶來瞭,所以並沒有給人很大的震撼。
如果要在這次開發者大會當中找到一絲亮點,那就是“空間音頻”技術的廣泛應用,未來會有更多的音樂軟件或者視頻軟件,以及耳機等等硬件支持“空間音頻”技術,而且這個技術也在不斷破圈,向著安卓陣營擴展。
今天我們就來聊聊“空間音頻”。
“空間音頻”(Spatial Audio)這個詞其實是蘋果造的,它的本質是“計算音頻”。別被這些名詞概念嚇到,它非常好理解。
拿我們生活當中最的常見朋友圈發照片舉例,現在敢不修圖就直接發原圖的人都是真正的勇士。尤其是合照,如果不把對方稍微修飾一下,或者隻給自己美顏,那友誼的小船說翻就翻。
這裡有朋友可能會說我就不修圖,我每次就是拍完瞭直接發。但即便如此,你發的照片依然是修過的。這是因為計算視覺已經是我們手機設備上必不可少的一部分瞭。在我們拍照時,影像處理系統就已經幫我們銳化瞭照片,提高瞭對比度,讓天更藍草更綠人更瘦。
哪怕我們拍出來照片真的原汁原味,但是在顯示端,也就是我們的屏幕上,畫面還會是經過美化。計算視覺如此無孔不入,為的就是給我們營造出一種來源於真實,但要比真實更符合人類審美的感覺,即便我們眼前的景象根本不是這個樣子。
比起圖像技術的突飛猛進,聲音相對就顯得傳統太多瞭。除瞭供娛樂消遣使用的所謂變聲軟件,計算音頻技術很長一段時間都沒有找到合適的窗口期。
直到降噪耳機開始迅速普及,它的原理是通過耳機上的麥克風,先捕捉環境噪音,然後在耳機內部發出一個反相的聲波,來抵消掉環境噪音。從而讓我們能夠更加清楚地聽到耳機裡的聲音。
現在我們的手機已經大量應用瞭這種技術,隨著計算音頻技術的發展,設備還可以更準確地識別人聲,隻對人聲部分進行增強,讓我們在通話時聲音更清楚。
有些音樂軟件如今已經可以做到把一首歌中的人聲部分全部消除,隻保留伴奏,或者相反,隻保留人聲去掉伴奏。這些都是計算音頻技術的典型應用。
說回耳機,它有個致命傷,就是無法營造出臨場感。從原理上,我們的耳機隻能做到雙聲道立體聲,永遠沒辦法和影院的5.1、7.1聲道的那種被聲音包圍起來的效果媲美。
現在的全景聲影院,可以讓觀眾清晰地感受到一架飛機從頭頂上飛過的聲音效果。這是怎麼做到的呢?
這裡我需要再普及一個知識,我們的耳朵是如何分辨出聲音的方向的。
我們之所以可以明確地判斷出聲音從哪個方向傳過來,是因為我們有兩隻耳朵,兩隻耳朵聽到的聲音不一樣,產生瞭兩種差。一個叫做時間差,另一個叫做聲級差。
說白瞭就是一個聲源傳遞出來的聲波,到達我們兩隻耳朵的時間會有細微的不同,另外,由於我們的頭部對聲音有遮擋,來自左側和右側的聲音音量大小會有不同,這兩不同都會被我們用來判斷聲音方向。
如果還是很難判斷,我們會下意識地側一下頭,這個動作會讓我們人為擴大時間差和聲級差,有助於我們做判斷。
我們頭部的直徑大約是20厘米左右,換算成波長大約是1500Hz的聲波。低於1500Hz的聲波,波長大於我們頭部的直徑,因此可以繞過我們的頭部,到達我們兩隻耳朵的聲音會感覺差不多。這也就是為什麼低音炮這種低頻設備沒有指向性,理論上放到哪兒都行的原因,因為我們無法判斷出低頻聲音的方向。
這個時候問題就來瞭,我們是怎麼判斷出來上方和下方的聲音的呢?想象一下,來自上方45度和下方45度的聲音,時間差和聲級差是一模一樣的,但是我們還是能夠判斷出來。
這是因為我們有耳廓。我們的耳廓之所以長成這個奇怪的造型,而不是一個平滑的漏鬥狀,是有原因的。來自上方和下方的聲音在我們的耳廓裡會產生不同的反射效果,這種不同會被我們敏銳捕捉,從而判斷上下方位的聲音。
有興趣的朋友可以做個試驗,閉上雙眼,讓一個朋友在你的面前用一串鑰匙垂直晃動,你會很準確地指出聲音的方向。但如果您捏住耳廓,改變它們的形狀,或者比如用橡皮泥,把耳廓填平。雖然耳朵沒有被堵住,但這時我們就很難分辨出聲音到底來自上方還是下方瞭。
以空間音頻為代表的計算音頻技術,首先要實現的就是讓我們的雙耳還原聽聲辨位的能力。現在當我們戴上耳機的時候,無論手機上的畫面在哪個方向,我們始終都會覺得聲音是從正前方傳過來的,這其實是反直覺的。
如果耳機中有陀螺儀,可以感受到我們頭部的晃動,計算音頻技術就可以判斷出我們雙耳和屏幕的相對位置,然後在我們的兩耳中播放出不同時間差、聲級差的聲音,甚至模擬出耳廓反射的效果。這種計算會和手機屏幕的位置匹配起來,讓我們誤以為,聲音永遠是從屏幕的方向傳過來的,甚至如果把手機拿到身後,我們也會覺得耳機裡的聲音是從後面傳來的。
這樣做有什麼好處呢?這就和我們在影院裡看電影的感覺一樣瞭,電影院裡銀幕的方向永遠是聲音的主要來源,它不會隨著我們的頭部晃動而改變。這也更符合自然直覺,每個聲源都在它本來的位置,而我們隻是置身其中。
用一幅耳機就能實現x.1聲道的效果,這在過去絕對是誇大宣傳,但現如今,計算音頻技術的普及,讓這種效果真的就來到瞭我們的耳邊。
那多聲道的傳統音頻設備豈不是要被取代?
也不是。
能夠判斷出聲音方向,和能夠提供高質量的聲音效果是兩碼事。很多人就想安安靜靜欣賞音樂,不希望被空間音頻技術幹擾,目前支持空間音頻技術的耳機,和同價位的經典有線耳機相比,音質上還差不少。而對於影視內容,臨場感比音質往往更加重要,空間音頻在這方面會發揮更大作用。
當然,還有提供更加真實的VR體驗。
雖然基於算法,但目前空間音頻還是需要特定軟硬件配合,耳機、視頻軟件以及視頻內容要同時支持空間音頻,才能發揮出最好的效果。
計算音頻的浪潮已然襲來,我們聽見的世界也將似真似幻。
請先 登入 以發表留言。