聯發科提到“聯發科與ARM的深度合作以及經驗共創下,我們催生出新的GPU架構”;“我們這三年來一直在講移動光追,也很開心我們即將看到開花結果”...這些信號都表明,基于Immortalis-G715的天璣芯片不遠了。
這兩年聯發科召開天璣旗艦技術溝通會,都會將GPU和圖形相關技術當做重點去做分享。好像在天璣9000上市之后,聯發科在手機AP SoC市場的話語權就已經被改寫了——天璣9000。今年天璣芯片對高通驍龍系列的壓力似乎也是前所未見的。話語權的進一步拿捏,也就讓聯發科的技術路線在行業內更為舉足輕重。
“光線追蹤”這個詞在移動市場大概已經預熱有3年了——雖然光追在PC和工作站領域逐步開始普及,但專門的光追加速單元在手機、平板之類的移動設備上還非常罕見。除了像Imagination這樣的IP供應商時有談起,“率先落地”的應該暫時也只有三星Exynos 2200了——用的是AMD RDNA 2架構——但今年也還沒怎么看到光追手機游戲的影子。
這兩年聯發科也頻繁提到光追,包括去年提到生態方面與Arm、騰訊游戲等上下游合作伙伴之間的合作。但聯發科的技術發言人彼時就提到雖然在那之前的天璣芯片都沒有增加光追單元,但“這兩代就已經在為光追做準備,包括渲染指令運算、緩存機制,現在是融入在了IP里面的”。
實際上天璣9000就已經開始支持基于軟件的光線追蹤了,所以天璣9000發布會上也多少聽到聯發科提到了光線追蹤——但基本是蜻蜓點水式的。在光追游戲的“預備”和試水上,聯發科于天璣9000發布之際推出光追SDK產品。
這次的技術溝通會上,聯發科再度提到“從GPU內容開發的進展來看,基于移動光追的需求可能會有更大更廣的覆蓋”。“從前年到去年,我們持續跟游戲引擎合作的這些移動光追方案,目前都變成了手游開發者的標桿”。與此同時,“基于VR/AR的需求,移動光追技術也已經陸續在萌芽 ”。所以光追技術已經不是專屬于高端游戲需求,已經越來越貼近用戶需求,沒有那么遙遠。
今年年中ARM 正式對外發布了新的GPU產品線Immortalis,以及首款支持光追硬件加速的GPU IP,Immortalis-G715(以及包括更低端型號)。在ARM發布G715當天,聯發科就在推特上快速轉發了Arm的發布信息,ARM的Immortalis-G715的產品介紹頁面特別列出了聯發科的“合作伙伴證言”。
聯發科這次也在會上提到“聯發科與ARM的深度合作以及經驗共創下,我們催生出新的GPU架構”;“我們這三年來一直在講移動光追,也很開心我們即將看到開花結果”...這些信號都表明,基于Immortalis-G715的天璣芯片不遠了。
有關Immortalis-G715的第四代Valhall架構,此前ARM的發布會上已有提及。其中的光追部分——這的確應該是ARM的GPU IP首度加入專用的光追加速單元。
這種RT core光追核心的內部有用于BVH(Bounding Volume Hierarchy)盒子遍歷,以及光線與三角形相交測試的專用硬件加速單元。值得一提的是ARM和聯發科的方案中RTU是直接放進每個shader核心里面的,而不是像別家那樣是個外部的加速器。
移動光追的技術和生態布局
聯發科表示早在2020年12月就“提前布局Ray Query技術方案,啟動生態合作”。
在Vulkan世界里,要做光追有兩種選擇,分別是用ray tracing pipeline和ray queries。后者可在任意shader階段用于執行光線遍歷并返回結果。網上能找到一些有關ray tracing pipeline和ray queries的比較。似乎SIGGRAPH 2019上,還有專家特別談到過ray tracing pipeline的諸多問題。
聯發科表示:“我們采用Ray Query方案來縮小和開發者切入的困難點。這些經驗可以反饋給硬件實作者,加速他們的光追硬件開發和驅動開發。今年初Khronos也發布了Vulkan 1.3標準——基于新標準的發布,聯發科的自研方案也可以無痛切換到行業標準上繼續推進。”這也是大范圍生態培養的基礎。
另外聯發科也提到了Immortalis-G715硬件級光追。除了RTU以外,也包括GPU本身其他架構層面帶來的性能提升,包括浮點算力的提升、三角形輸出能力提升3倍、帶寬需求優化。這些也都是實踐移動光追游戲,以及其他更復雜游戲場景的基礎。
再有就是生態布局上,“與評測工具聯合推進光追生態”;以及“協助開發者和硬件廠商定位合理的性能目標”。
有關陰影的呈現,“用光追得到的反射效果會更為真實”。Imagination和英偉達早兩年做光追效果宣傳時都提到純光柵管線計算,常規可獲得的陰影都不夠真實。其實要達成陰影邊緣模糊效果(penumbra),依靠純光柵也有可行的方案,但需要引入額外的特性或技術,不僅算力開銷不小,而且得到的陰影還未必是正確的。光線追蹤在解決這類問題上有天然的優勢。
聯發科多層面布局移動GPU增效方案,自底層硬件絕對性能提升,到平臺軟件優化、算法布局,以及在圖形渲染以外,借助AI、CV之類的技術來生成像素與幀,提升體驗。
生態相關的部分也包括“Vulkan的推廣”。聯發科解釋說,“Vulkan本身就是為了達到內容本質上的降載目標”,深耕Vulkan生態是聯發科如今的一大策略——聯發科在此表達的應該是從芯片制造商的角度對Vulkan標準做出更快的響應和支持。據說聯發科的天璣生態實驗室“深度聯調提升Vulkan性能”,讓熱門游戲Vulkan性能平均提升10%。
?系統調度、驅動優化。“比如溫控穩幀算法,就是這個類型的增效技術”。這兩年手機OEM廠商對此宣傳還是比較積極地。
?自適應調度,或者說自適應框架的應用。“越來越多的軟件框架能夠達到系統平衡與內容開發的聯動。”比如說Google ADPF、騰訊TGPA、Arm Adaptive Performance。借助這種自適應框架,開發者能夠獲取來自系統、芯片的實時信息,然后對內容做實時的負載調整,這對性能和效率發揮會大有益處。聯發科認為這會成為未來的一大趨勢。
?平臺廠商的自研算法,如VRS(可變速率著色)、超分、補幀等。這些也是需要生態構建的。