從計算攝影到計算光學,華為P50徹底改變瞭手機影像行業的未來

7月29日,在遲到瞭4個月後,華為今年的影像旗艦P50系列發佈,無論對於華為消費者業務還是對於國人,P50已不再隻是一款簡單的手機產品。

對於華為手機而言,P50系列飽含著倔強的精神,對於中國科技

和國人而言,P50系列可能代表著中國科技力量自立自強的勇敢和不屈的精神。

從計算攝影到計算光學,華為P50徹底改變瞭手機影像行業的未來

一句話 記錄瞭一個時代

當然作為開創瞭全球手機拍照時代的華為P系列手機,這次P50系列帶給行業和用戶的,是顛覆傳統的全新的手機影像技術體系,而這一體系,將讓手機攝影迎來一個全新的時代。

手機影像的發展及華為P系列的影像歷程

回顧華為P系列的產品發展,我們可以清晰得看到,中國企業在手機領域除瞭在芯片、操作系統之外,在手機影像領域從跟隨到引領全球產業發展的技術演進之路,看到未來手機影像如何去改變我們記錄生活的方式。

從計算攝影到計算光學,華為P50徹底改變瞭手機影像行業的未來

2016年,華為P9橫空出世,這款搭載瞭由華為和徠卡合作研發的1200萬像素雙攝像頭手機,同時使用瞭全球首款專用深度學習芯片和全新ISP芯片,不僅極大地提升瞭用戶的拍照體驗,更是將手機拍照從將就變成瞭可用,讓手機影像從簡單的清不清楚,變成瞭可以獲得更好清晰度和色彩、影調的記錄工具。隨後華為發佈的P10,第一次真正實現瞭對人像拍照的關鍵性突破,“人像攝影大師”的名號實至名歸。

2018年,P20系列上市,依靠先進的4000萬像素的三攝組合和三倍變焦,在影像質量上有瞭大幅度的提升,改寫瞭DxOMark全球手機拍照排行榜一直被國外手機占據的歷史。從此,DxOMark最佳拍照手機就成瞭華為和中國手機展示影像技術實力的“中國榜”,同時也讓華為的手機影像系統開始全面領先於全球手機產品。

P30的出現在手機影像行業是革命性的,通過5倍變焦和RYYB陣列的搭載極大地提高瞭小模組的進光量,從而讓手機拍照有瞭點單反的感覺,手機影像也從此開始不再隻是簡單的采用傳統數碼單反的技術思路,通過算法和不同的硬件組合開始獨立發展。

2020年華為P40問世,這在手機影像領域具有劃時代的意義。一直隱藏在華為手機背後的計算攝影的核心技術XD Fusion圖像引擎從幕後走到瞭前臺,讓行業終於可以看清一直以來華為不斷突破手機攝影的技術極限的根本原因。“在XD Fusion出現之前,手機影像仍然遵循傳統單反的拍照邏輯,那麼在XD Fusion出現之後,手機攝影已完成瞭從傳統單反拍照技術邏輯向以計算為主的新的手機影像邏輯的轉變。”

對於攝影而言,無論是手機攝影還是單反或者微單,其實都是由兩個核心部件組成,一個是以CMOS為核心的成像模組,另外一個就是負責光學影像傳遞的“鏡頭”。在華為手機影像的發展史中,通過五代產品在算法和色彩層面的不斷突破,基於CMOS成像模組的技術發展已接近於成熟,如果要進一步提升手機攝影的圖像質量,在“鏡頭”產業技術無法有大的突破下,如何發揮現有鏡頭產品和技術的最大能力,可能是手機攝影最後的一個技術突破方向。

7月29日發佈的華為P50系列,則讓手機攝影從光學成像信息在傳遞過程中的信息損失的還原方向,開辟瞭另外一條打開手機影像系統全面提升的通道,同時也由此構建起瞭手機影像系統完整的技術體系。

從計算攝影到計算光學,華為P50徹底改變瞭手機影像行業的未來

華為P50在手機影像領域的突破性技術——計算光學

在影像領域,無論是單反還是手機攝影,其核心仍然是如何將光信號變成電信號的過程。在這個過程中,簡單地理解,鏡頭是負責光信號傳輸的設備,而以CMOS為核心的模組,則是將光信號轉變為電信號的設備。所以提高圖像質量,一方面是需要提升CMOS的面積以及由此形成的基於DSP的還原算法,另外一個可以提升圖像質量的方式就是提升鏡頭的質量。

提升鏡頭的質量,這在單反領域並不太難,通過不同的鏡頭材質可以有效地改善鏡頭的分辨率、色差、場差等光信號傳遞過程中的損失,但這樣的高素質鏡頭,都是以極高的成本和急劇提升的重量和體積為代價的。這一技術路線,顯然無法在手機狹小的空間裡實現。近幾年手機行業,雖然通過不斷增加攝像頭數量和增大CMOS面積可以些許改變一些影像質量,但通過硬件規格和數量的提升終歸是有盡頭的,當手機攝像頭增加到5攝,不僅帶來瞭體積的增加,同時多攝像頭的組合也給統一色調、影調的算法帶來瞭更高門檻。

手機影像要突破硬件帶來的束縛,必須要另辟蹊徑。

在華為P50系列上,華為開創性地采用瞭計算光學(XD Optics)的技術,通過與鏡頭廠商的密切合作,在一個鏡頭模組設計之前和生產出來之後,通過設計上提前預測和後期測量,得知該鏡頭光學的特性,再通過算法來提前預測光路導致的像差損失,從而改變“調制傳遞函數(MTF)”,來最大程度地還原在光信號傳遞過程中的損耗。任何光學鏡頭都是存在缺陷的,不是設計和制造水平達不到要求,而是從光學理論來看,光在傳遞過程中一定會出現彗差、球差、色散等問題,如何將光信號在傳遞過程中損失的信息重新找回來,就是計算光學技術核心解決的問題。由於光路是可逆的,就能知道某個指定波長的光線經過某一鏡頭、經過什麼樣的方式之後,輸入和輸出光線的差別,就可以通過算法彌補光學系統本身的一些損失,這就為計算光學提供瞭廣泛的想象空間。

據華為相關人士介紹,在計算光學上,華為已經進行瞭很多年的研發,在P50上終於完成瞭革命性的突破。

在計算光學的技術方面,刀客與華為技術人士進行瞭相對深入的探討。他表示,用P50 Pro的潛望鏡模組來說,在圖像進入光學器件的過程中會損失50%的圖像信息(這個損失非常大),如果沒有計算光學參與,隻能通過後期圖像信息處理技術來提升(XD Fusion)。以前沒有計算光學時的圖像處理,叫半段式圖象處理,按照半段式,前面的光學部分損失50%,後面想辦法做還原、恢復,最多隻能做到60%圖像原始信息的恢復。而在P50系列手機上,計算光學的加入,可以多還原25%的圖像信息。從以前半段式還原60%的圖像信息,可以提升到81%,這是很大的進步。在不占用過多手機空間的情況下,就能獲得高性能鏡頭模組帶來的成像質量。

這些理論,在華為P50系列手機上得到瞭驗證,從實際拍照樣張來看,在高頻信號覆蓋的區域,圖像的反差和清晰度有瞭明顯的提升。這也證明瞭,通過計算光學,可以有效改善鏡頭的MTF曲線,特別在10線對的區域,可以有效提升圖像的反差。華為方面表示,“據測算,P50 Pro的潛望鏡MTF表現在計算光學技術的加持下,(傳輸光量)最多可以翻倍,尤其在草地、樹葉、遠處建築物輪廓等帶有高頻信息(反差)的場景,圖像清晰度增強瞭很多。”

計算光學(XD Optics)在手機影像領域的應用,為手機影像的發展提供瞭一條全新的技術路線,同時這一技術,並不僅僅可應用於手機影像,對於單反甚至整個影像領域,都可以提供一條低成本提升影像質量的技術方向。

從計算攝影到計算光學,華為P50徹底改變瞭手機影像行業的未來

三、華為P50用全新技術思路構建手機影像的技術體系

P50系列在影像方面的突破,還有一個重要的技術方向也同樣值得重視,這就是影像系統中的色彩還原,華為在P50系列產品中引入瞭“原色引擎”單元。通過10通道的色溫傳感器,環境光譜的提升率比以前提升50%,再加上色適應模型實現瞭軟硬件高度協同,從而讓成像色彩所見即所得,無限接近自然界的光譜,色彩更精準、分辨率更高。

與之前行業通行的標準白平衡校準不同,這次華為在原色引擎上,采用瞭全新的技術思路。在傳統白平衡校準方式中,想拍顏色非常準確的照片需要手動設置白平衡,先拍一張白紙做基準,然後再拍我們所需要拍攝的主體,主體色彩和環境色彩都會以這張白紙作為基準進行校正,這麼做的結果的確把視野裡面的白色拍成純粹的白色,但事實上我們人眼看到的可能並不是這樣,人眼感受的色彩會隨著環境色彩發生變化。

在原色引擎上,華為擬合人類感知色彩的流程(人類感知色彩有兩部分:一是人眼看到,二是人腦處理)。模擬人眼的部分做瞭獨特的色彩空間的轉化,圖像傳感器和多光譜傳感器獲得環境信息後,把RGB轉為CIE-XYZ色彩空間,再進行人腦環節的模擬,使得光源色彩變化時保持感知到的物體色彩盡量恒定,這就實現瞭拍攝的圖像基本上和我們人眼看到的一樣。

原色引擎的引入,讓手機攝影在色彩表現上更加能真實的還原人眼所感知的影像,甚至為整個影像行業的色彩還原提供瞭一種全新理念。

在華為的影像技術體系中,計算攝影(XD Fusion)經過多年的技術演進,已經成為計算攝影方向最有技術發展前景和價值的圖像引擎。在多鏡頭不同維度的信號輸入之後,XD Fusion Pro系統的計算機視覺單元開始進行不同畫面的語義識別,並通過設定標準進行不同場景的識別和主要特征的識別,比如說背景中的草原、藍天、樹林,以及拍照主體的人物、動物或靜物花卉,並重新結構化背景信息、主體及主體形勢等一系列畫面要素。

經過重新結構化的畫面信息,在神經網絡處理單元會重新組合,並根據已經經過大量數據訓練過的算法模型進行進一步的畫面優化處理,不同畫面構成的歸一化處理,包括準確的白平衡、銳度、色彩飽和度、以及局部(比如臉部)的個性化特征處理。這是一種像素級的基於深度學習的處理,畫面質量與輸入的信號有瞭天壤之別。

由此,華為通過P50系列產品,將計算攝影的各個環節全部打通,通過計算光學,重構瞭物理鏡頭的調制傳遞函數(MTF),找回瞭在光信號傳遞過程中的損失,再通過XD Fusion,對多鏡頭的多維信息進行瞭圖像的數字化重構,最大可能的發揮瞭各CMOS的光電轉換的能力,同時通過原色引擎,讓圖像在色彩方面更加符合人眼觀察到的色彩,實現瞭真實世界在手機上的全新圖像重構,這一技術體系,形成瞭完整並極具價值的手機影像發展的技術路線。

如果說P40之前,在計算攝影領域,華為和蘋果是這一行業並跑的兩大玩傢,那麼隨著在P40上全面釋放的XD Fusion圖像引擎的出現,讓華為在手機計算攝影領域的領先優勢得以鞏固,到日前發佈的P50,華為在計算攝影領域,形成瞭完整的技術體系,構建起瞭未來計算攝影的產業技術規范。

從計算攝影到計算光學,華為P50徹底改變瞭手機影像行業的未來

華為以計算光學(XD Optics)、計算攝影(XD Fusion)以及原色引擎形成的計算攝影的技術體系,完整的解決瞭鏡頭在光信號傳遞過程中的損失,XD Fusion Pro圖像引擎讓光信號通過深度學習算法最大可能地還原瞭圖像信息,配合原色引擎實現瞭“真實”色彩的數字化重構,這一技術體系,不僅改變的是手機攝影領域,未來極有可能成為影像行業發展的裡程碑。

創作者介紹
創作者 3C王者 的頭像
3C王者宇晨

3C王者

3C王者宇晨 發表在 痞客邦 留言(0) 人氣( 0 )