有點小失望的 NVIDIA RTX VSR

NVIDIA 在 CES 2023 就發表了基於 RTX GPU 上的 Tensor Core、使用機器學習的技術來幫影片在提高解析度時的強化技術：NVIDIA RTX Video Super Resolution（RTX VSR）。

而要使用這項功能、所需要的條件包括了：

• 使用 NVIDIA RTX 30 / 40 系列的顯示卡
• Google Chrome 110.0.5481.105+ / Microsoft Edge 110.0.1587.56+

不過雖然發表了好一陣子、瀏覽器也號稱更新了，但是由於 NVIDIA 始終沒有推出對應的驅動程式，所以實際上始終沒辦法玩到。

而直到前幾天、NVIDIA 終於推出支援這項功能的驅動程式 531.14、讓使用者可以開始使用這項功能了！

官方的公告，可以參考《Pixel Perfect: RTX Video Super Resolution Now Available for GeForce RTX 40 and 30 Series GPUs》這篇文章。

理論上如果有對應的顯示卡、在更新驅動程式後，在 NVIDIA 控制面板裡面、「影像」中的「調整影像設定」中，就會出現「RTX 視訊增強」的選項了～

目前只有一項「超高解析度」，開啟之後的選項有 1 ~ 4 四個等級。

使用時只要修改這邊的設定，網頁瀏覽器不需要（也沒有）對應的設定需要修改；而在驅動程式修改的設定應該會立刻套用、不需要重新啟動瀏覽器或是重新整理頁面。

而驅動程式內針對這項功能的說明則如下：

使用 AI 以提升解析度並減少在受支援的瀏覽器中播放視訊產生的壓缩膺像

根據官方的說法，是只要影片的解析度比實際撥放的解析度小，這項功能就會開始運作。

像是在撥放 720P 的影片的時候，只要撥放的呈現範圍大於 720P、NVIDIA 就會透過 VSR 的技術對影片作強化，不管是全螢幕、或是視窗模式都可以。

---

至於效果呢，下面是官方的展示影片：

感覺很棒是吧？但是實際測試的狀況下…老實說，Heresy 覺得實際測試的時候、畫質改善的相當有限、而且不明顯啊。

目前網路上已經可以找到一些國外媒體的評測了，有興趣可以看看：

• NVIDIA RTX Video Super Resolution Tested, AI Enhanced Streaming That Barely Makes a Difference
• Nvidia VSR Testing: AI Upscaling and Enhancement for Video
• I’m 100% enabling Nvidia’s new AI upscaling tech for Twitch streams but it’s no DLSS for video

以個人拿 GeForce RTX 3090、在 4K 螢幕上測試的結果，真的只能說非常失望啊…

下面是 Heresy 以前的行車紀錄器、SGH D720 錄出來的一段 720P 影片（連結），在關閉 VSR 的狀況下，螢幕截圖的狀況如下：

而開啟 VSR、並設定到最強的 4 的狀況則如下：

老實說，雖然不是看不出差異，但是其實改善真的有限啊…試了好幾部影片，基本上完全感覺不出來這邊的 AI 到底哪裡厲害啊…

以上面兩個畫面來說，假設以左邊機車店的招牌來看，感覺上似乎是偶好一點，但是也不到相當清晰。

 

比較明顯改善的，可能是兩側的標線吧？以左側的雙黃線來說，感覺算是有讓他變得漂亮不少，比較像是平滑的線條了；此外，機車車身的線條也更明確、雜訊算是去到相當多了。

而以動畫來說，感覺就比較像是套用一般銳利化的濾鏡而已了？老實說效果個人也是覺得微乎其微了…

整體來說，個人是覺得它的效果感覺和以前在撥放器上套用各種濾鏡來做影像強化沒有太大的差異？

和 NVIDIA 官方號稱的效果比…個人只能說看來 NVIDA 是相當誇大了；以個人來看，要說他可以把 720P 拉到 1080P 的水準？好像還差一截呢。

實際上，如果去拿 NVIDIA Demo 影片來看的話，開啟 VSR 也沒辦法做到他展示的效果啊～ XD

---

而由於要進行這樣額外的處理，也還需要額外的計算量，這時候也就不得不考慮到耗電量了。

在 tom’s Hardware 的測試（網頁）中有去紀錄 RTX 4090 和 RTX 3050 的耗電量如下表：

看起來 RTX 4090 開啟後頂多也只多了 8W，感覺好像還可以接受？
（附帶一提，3050 開 1 和 4 的耗電量相同、個人猜測應該其實是都是在跑 1；因為官方 QA 是寫「所有 RTX GPU 支援 level 1、xx70 以上支援到 level 4」、可參考。）

但是 Heresy 這邊以 RTX 3090 測試的時候，耗電量的變化倒是沒這麼小…在以工作管理員和 GPU-Z 來看的話，其實 GPU 的使用率和耗電量都有相當的增加啊！

下圖是沒有開啟 VSR 的狀況：

這個時候 GPU 的 3D 使用率大概都在 10% 左右、而 GPU-Z 的 board power draw 則在 30W 上下。

而在開啟 level 4 的 VSR 後呢，GPU 的使用率則是拉高到 30% 左右、耗電量則是提高到 90W 以上了…

而在目前看到最誇張的例子，是在開啟 level 4 的 VSR 後，GPU 使用率高達 50%、GPU-Z 的 board power draw 則飆高到近 300W！？

 

不過這個算是比較極端的狀況。但是在其他的測試裡面，耗電量大多還是會提高到 1x0W 左右啊…

這部分的測試和 THG 的差距為什麼這麼大，個人就搞不懂了… orz

---

技術的部份，在官方的文章中，NVIDIA 也有提到他們主要是想解決視訊串流的問題，這也是為什麼目前只有兩個網頁瀏覽器支援的原因。

和以往提高解析度的方法不同，這次 NVIDIA 是使用深度學習的方式，來提高解析度的。

根據官方的說法，他們主要是以邊緣偵測（edge detection）和特徵銳利化（feature sharpening）為基礎來做的，主要可以減緩壓縮造成的區塊效果、高頻的失真等等不良的視覺效果。

而根據官網提供的說明，他們應該是會拿傳統透過 bi-cubic 演算法計算出來的影像、再加上 AI產生的強化資料、合併成最後的結果。

---

理想上是很好，官方的展示也很漂亮，但是以 Heresy 自己這邊測試的結果…老實說，個人是覺得和傳統的放大方法，感覺並沒有明顯的變好啊…

在沒有 A/B test 的狀況下，個人基本上沒辦法馬上看出來有開沒開的差別；而認真比較耗，也覺得那個差異沒什麼實用性。

考慮到這邊耗電量的提升其實還滿可怕的，其實個人覺得這項功能根本沒有開啟的價值啊…本來還期待這個會是 NVIDIA 新的黑科技，但是結果真的是期望越大失望越大啊。 ><

本來 Heresy 還在想效果真的好的話，之後還想買張新的 RTX 40 來看影片，但是現在看來好像沒差了？

---

最後，下面是一些摘錄《RTX Video Super Resolution FAQ》的內容：

• VSR 和 DLSS 是完全不同的技術。
  VSR 針對影像的內容，DLSS 則是針對遊戲引擎的資料。

• 要讓 RTX 20 系列的 GPU 可以跑需要重新調整，理論上以後會支援。

• VSR 基本上是在 Chromium 這個框架實作的，但是只有在 Chrome 和 Edge 驗證，其他 Chromium 架構的瀏覽器沒有驗證過。（也就是說其實有希望）

• VSR 支援的輸入解析度是 360p – 1440p。
  某些 DRM 保護的內容、YouTube Shorts、HDR 內容都不支援。

• 輸出支援包括 5K（但是好像沒極限？）

• 沒有限制一定要全螢幕，反正就是會在需要放大時、放大到需要的畫面。
  （不會用來縮小、沒有顯示的時候也不會運作）

• 如果是有 RTX + iGPU 雙顯示晶片的筆記電腦的話，會需要把瀏覽器設定成使用 RTX GPU。
  而在使用電池時，瀏覽器會自動使用原生地放大方法，所以不會啟用 VSR。

另外，考量到這次 NVIDIA 這次 VSR 這項功能是以 XX70 等級作為功能的劃分，或許以後要買顯示卡還是買 XX70 等級的卡比較好？