独显芯片和影像芯片 (pixel6和pixel7处理器)

PixelworksX7独显芯片,独显芯片是npu还是isp

自某个厂商首次将“独显芯片”和“游戏超帧”的概念引入手机市场,已经有几个年头了。从初代Pixelworks X5到后来的X5+,再到后来的X7,以及在一加Ace3上采用的X7 Gen2(后面简记为X7P),多次迭代使得超分超帧技术在移动平台得到了显著提升。

不过,人们对于插帧、超分技术的认识普遍没有多大改变:插帧=高延迟,超分=锐化。事实真的如此吗?当然不是。

————

在此之前,我们先来了解一下什么是插帧、超分:

插帧(Frame Interpolation),是生成新的帧的一系列技术的统称。在Pixelworks的这几代芯片上以Ultra-Low Latency MEMC方式实现。

MEMC的全称为运动估计与运动补偿,实现方法为通过获取两帧内容,截取运动的单元——“块”,并通过算法在下一帧中寻找匹配的块,计算运动矢量,再通过算法生成新的帧。

因此,MEMC不是一套完全固定的解决方案,其效果取决于使用的各种算法。

PixelworksX7独显芯片,独显芯片是npu还是isp

对于超分辨率(Super-resolution)也是一样。超分辨率脱胎于图像压缩算法,广义的超分辨率即为将原始图像通过各种方法以更高的分辨率输出,而我们常说的超分更多的是指基于深度学习的插值方法,下面简称为AISR。

PixelworksX7独显芯片,独显芯片是npu还是isp

什么是“独显芯片”?

手机的“独显芯片”也并不是我们常说的独显(GPU),而是Visual Processor,即视觉处理器。

PixelworksX7独显芯片,独显芯片是npu还是isp

简单来说,视觉处理器处于GPU和屏幕之间,对前者输出的画面进行处理,以在屏幕上取得更佳的显示效果(虽然实际情况比这复杂得多)。它并不会抢走GPU的主要任务,比如实现高级材质2.0。

Pixelworks X7系列芯片提供了肤色管理、色彩校准、全时HDR、高效超分辨率、超低延迟MEMC为主的一系列功能,并且提供了IRX渲染加速技术,可在支持的游戏内享受低功耗超高帧,同时几乎不引入延迟。但目前,渲染加速技术仅支持使命召唤手游(国服)、晶核、星球:崛起、航海王:热血航线共4款游戏,并且无法在K60至尊版上正常工作。通过该技术,可以实现使命召唤手游的最高画质120帧,功耗却和最低画质原生120帧同一级别。

PixelworksX7独显芯片,独显芯片是npu还是isp

为何人们对于“独显芯片”的印象很差?

对于X7/X7P,MEMC有几十种不同的配置方案,影响包括效果、延迟等诸多方面。所以插帧的具体效果取决于手机厂商如何调用它。同时,厂商的温控会在温度并不高的前提下优先禁用插帧、超分功能(而非降低原始帧率来生成更多的帧)——虽然X7的功耗并不算很高。

另一方面,一加的原神插帧会将游戏锁到40帧并插至120;红米则是48插至144,IQOO能提供至高60插144的多档位。虽然40插120和48插144看起来都是3倍插帧,但48帧相当于比40帧多20%的原始帧率,Frametime低17%。更低的原始帧率意味着延迟一定会更高,同时每帧所持续的时间更长,获取的原始帧信息更少。因此,在使用同芯片的前提下,一加的插帧效果是从根本上不可能有别家好的。即便X7P的MEMC有不小的提升,也难以和红米的48帧插3倍掰手腕。

需要注意的是,对于绝大多数游戏,红米和一加都采用了“超低延迟”档位进行补帧,虽然延迟可以基本无视,但这会导致画面的连续性下降。这也是游戏插帧感知较差的原因之一。

同时,对于大多数设备的“独显芯片”,超分辨率并未基于深度学习,而是一些简单/复杂的图像插值算法,这有异于大众认知的AISR。以X7为例,它提供了6个参数来控制超分辨率:输入分辨率、输出分辨率和4个不明参数。这4个不明参数,完全地决定了实际输出图像的观感,这也是大多数人对于它的超分辨率有糟糕印象的缘由。

对于X7P,这颗目前仅在Ace3上采用的新一代芯,它引入了AISR并提供了更多的2个参数,以及1个filter。这让它的超分表现相较前代拥有了质的提升。

但计算量的显著增加也导致功耗会有同步的提高。对此,Pixelworks提供了HESR(High Efficiency)高效率超分和LPSR(Low Power)低功耗超分两种选择,后者会使用更为简单的处理,但效果也会有些损失。

————

展望

PixelworksX7独显芯片,独显芯片是npu还是isp

“独显芯片”的使用思路很显然有两个方向:提升表现和降低功耗。

红米在这方面做的不错,将FEAS技术与视觉处理器相结合,同时实现了低功耗和优异视觉效果,并在很多游戏内提供了两个不同的原始帧率/目标帧率档位选择(虽然红米的FEAS2.3实现得一般)。

一加虽然更早就使用了视觉处理器,但并未提供良好的解决方案。

以Ace3为例,对于原神,它选择40插120的方案。可惜,在插帧启用的前提下,在60帧下表现极其优异的FAS(一种基于帧生成时间的调度)反而会被禁用,导致插帧下的功耗接近原生60帧,同时画面的连贯性中规中矩。

同时,对于它号称支持“全游戏120帧+1.5K”的其他游戏,均只支持以60帧为原始帧率的插帧。帧率过低的游戏直接不能启用,帧率过高的情况下又不会自动锁定60帧,需要手动调整至60帧才可以启用插帧。

对于不在白名单内的其他游戏,则仅提供低延迟档位的MEMC,不能自主选择延迟档位。至于LPSR和HESR,一加也没有提供任何的选择,仅能调用HESR。在X7支持自适应原始帧率,至多可实现4倍插帧的前提下,原始帧率亦不能自主指定,超分效果也只能调用默认预设。这些地方都是值得改进的点,甚至可以说是阻碍“独显芯片”成为核心卖点的痛点。

情况是,无论是追求低功耗还是极致效果,它都没有达到,并且基本没有给予用户自主余地,实现得一塌糊涂。但就是在这样一团糟的前提下,这颗小小的芯片仍然能成为一个卖点。若是厂商能为这颗视觉处理器提供匹配的调度和独立的配置面板,相信它拥有足够的能力成为游戏手机和其他手机的核心区分,提供足够的竞争力。