2021年12月14日-15日,OPPO 2021年度未来科技大会(OPPO INNO DAY 2021)在深圳正隆重召开,OPPO带来了多个重量级科技成果以及品牌最新动向。其中包括:备受瞩目的OPPO首个自研NPU芯片“马里亚纳 MariSilicon X”,该芯片采用6nm先进制程,具备四大技术突破,是移动端第一个独立影像专用NPU芯片;面向探索XR世界的OPPO新一代智能眼镜OPPO Air Glass。
而此次大会结束后还有一个媒体群访环节,2位受访对象分别是:OPPO芯片产品高级总监 姜波;OPPO XR技术总监 徐毅,在群访中两位为我们分享了OPPO自研芯片以及新一代智能眼镜OPPO Air Glass相关的内容。
NPU能够做什么?OPPO自研NPU对比其他友商有何差异?
第一,NPU应该去做特别重要的,在手机上应该用来完成计算影像的处理,因为计算影像其实是对算力在各种应用下算力要求最高的一部分,所以专芯专用或者优化的方向应该是这个方向。这是我们提出来的一个观点。
第二,谈到是说应该怎么做。应该根据应用场景真正把它的有效算力释放出来,所以它的能效是跟应用场景相关的。因为做一个通用型的NPU,其实它很难聚焦某一个应用场景的,但是作为OPPO来讲,我们是终端厂商。我们更明白,用户痛点在哪,用户场景的价值点在哪。所以我们会根据这个应用场景去相应的设计我们的硬件架构,去提升它的相应的能效比,换句话说提升有效算力。其实我在演讲图片里面对比的最高算力,那个最高算力在手机NPU上去堆的话是很容易的一件事,你把芯片面积逐渐加大就好了。但是芯片的能效真正要做到这么高是非常大的挑战。
OPPO芯片产品高级总监 姜波
OPPO的首个自研NPU跟CPU、GPU是怎么协同的?
马里亚纳 X它本身是影像专用NPU,它是要跟SoC的主平台去协同的。非常简单一个原理,我从相机传感器进来最原始的数据,通过马里亚纳 X去做处理,在处理完之后,再把更好的处理过的数据送给SoC。比如说我们谈到的HDR也好、降噪方法也好,其实这些我们不需要工作在SoC主芯片里面再去做了。从整个影像的链路来讲,从传奇干起到马里亚纳 X,再到后端通用平台整体的影像质量提升才是我们的目的。
马里亚纳 X作为专业影像NPU跟专业影像ISP有哪些区别?
ISP其实是整个影像处理链路中的一部分,它里面有很多模块,如果只做了其中一个非常简单的算法。而在马里亚纳 X里,也有影像处理链路相应的,其实里面还有其他的block我们并没有提到,相应的其实都是影像处理单元。但是我们做的影像处理单元,尤其最终目的要把AI的极致能力发挥出来,这是我们的焦点,也是为什么我们把它定位成一个影像专用的NPU的原因所在。马里亚纳 X聚焦在一个通过NPU去解决释放计算影像的潜力的问题,这是我们的焦点。我们认为整个影像的发展往后来看,其实聚焦在计算影像上。
OPPO为什么选择赋予OPPO Air Glass这样的形态?
其实这个形态是我们刚才也提到OPPO在过去两年的INNO DAY都曾发布过AR眼镜,在INNO DAY第一年我们发布的是一体式的。那个时候我们更多的是积累了know-how,在这个过程中我们理解了AR这个东西,我们要做些什么东西,然后它是怎么做的。在去年我们其实在研发过程中针对第一代的这种可佩戴性不太好的体验,我们做了针对性的改善,又推出了我们分体式结构的形态,用手机来进行提供算力和电池,然后能够起码方便用户佩戴。
今年我们在去年的基础上我们觉得还是不够满意,我们觉得还是戴不出去,我们希望真正能够给用户提供一个能够戴出去,真正是易用有功能的眼镜,所以最终OPPO Air Glass选择这样一个形态。我们最后在里面的设计理念希望通过一种非常简洁的方式把信息快速地带给用户。最终我们把它精简成目前的形态,那就是说这其实是根据我们过去几年的一个积累,然后在无论是硬件,还有是用户的需求,从几个角度我们推导出来最后我们决定做这样一个形态。大概是这么一个状态。
OPPO XR技术总监 徐毅
OPPO是否会选择为OPPO Air Glass打造一套完整生态?
OPPO过去几年一直非常关注这个问题,我们一直都知道光做设备其实不是一个好的解决方案,我们肯定要通盘来看这个事情。所以我们在今年,去年我们发布了OPPO AR Glass 2021,在今年我们举办一系列的开发者活动,通过这种活动我们也是跟国内很多的开发者进行一个比较好的沟通和链接。在这个过程中也是对我们的设备受到了很多的反馈。接下来我们对于这一代的产品我们其实还是会继续在行业内做一些开发者的活动,包括我们会让开发我们开发者的SDK,希望能够吸引更多的开发者跟我们一起去探索这种形态。目前我们自己是先主打了几个比较重要的应用,比方说提词器、导航,我们希望能够有更多的开发者一起基于这样的交互、基于这样的设备来探索更多的应用。
我觉得很多都是我们在考虑中的一些场景,因为刚才你也说到它是有很多的这种智能耳机这样的功能在很多的场合,包括我们的翻译也是属于这方面的探索,都是无障碍的交互,我可以跟交流,跟别人语言不通的时候可以交流,我们可以把这样的功能拓展到更多的人群。
能简单阐述下马里亚纳 X研发的时间节点吗?
其实我(姜波)大概说一下,我个人是在2019年加入OPPO的芯片团队的,我算来得最早的那一批吧。那时候很早,就在春笋这个楼上42层我们有一个办公室墙上贴了一个马里亚纳办公室,有几个人,那个时候很少,就我们几个人。其实这里面您谈到为什么这么快,很重要的一点是由这个团队它从最初建立的时候,追求极致理念相关的,我以前我也在其他芯片公司工作过,来了OPPO之后很重要的理念是对产品极致的追求,这个理念牵涉到芯片团队本身产品的包括一些性能指标、功耗指标,也包括研发日程和进度。的确是这样一颗芯片从IP也自研,整个芯片的前端后端这些所有都自研,包括软件硬件全都自研,这本身是个非常大的挑战。我觉得这里面很重要的一点是要找有经验的人,理念上大家追求极致,我们的工程师很辛苦,我记得流片的时候,我们拿回来之后真的是快马加鞭,没有一个小时的延误,直接送到实验室,点亮过程中就是24小时,就这样,我最后讲到那一段的时候我自己比较激动,我们同事真的很激动。
OPPO有没有考虑将马里亚纳 X应用于其他领域?
直接回答因为这是一个比较专注在,应该是个完全专注在影像处理的专用NPU,所以它其实并没有考虑其他应用场景,基于这个应用场景下是不是还有一些拓展一些基于影像的专用的场景,这个我觉得是我们也会考虑的一些方向。比如说大家现在在手机上,您有一个功能之后,我有了硬件基础,在上面通过更新的训练网络,是不是有些在影像方面专用的应该说功能,我可以进一步再拓展,我想这是接下来我们可以去看的。但目前马里亚纳 X是聚焦在影像方面。
OPPO Air Glass这次采用了纯绿色的设计是基于什么样的考虑?
我们权衡了最后这个东西的可佩戴性,它有多轻,包括这些场景我们做出了这样一个选择。我们如果选择RGB我们可能可以带来更好的呈现,但实际上对于我们核心的功能,想把一些信息快速带到用户眼前,我们认为作用没有那么明显,因为这边这个产品它的主打不是去看一些图像影像的功能,而是通过一些快速的方式能够把信息带到用户眼前。结合这个,结合选择三色的光机带来的一些硬件上的尺寸,无论是重量这些方面的因素,我们最后做了这样一个决定。
对OPPO Air Glass的出货量有什么预计?这款眼镜在交互上有什么独到之处吗?
我们可以简单对标一下同类XR的产品,有一些国际厂商今年可以达到几百万的出货量,甚至是要上千。这个行业的一个判断。我觉得到这个出货量之后,我觉得整个行业无论从开发者来说,还是整个行业都觉得它成了,我觉得智能眼镜可能也要达到那样一个程度才有可能说我们觉得整个行业起来了。当然这个我希望整个行业更多的玩家一起进来做这个事情,包括您刚才说到美国的大公司。
OPPO Air Glass上实现了一个主交互,两个主交互,一个是比较轻薄很薄一条的触碰条,我觉得目前的交互方式是非常舒服的,比起一般的比如说笔记本电脑上的会舒服一些,它很容易用,因为它几乎是类似于一维的条,你通过几个简单的比较易学的,这我觉得交互是比较轻的,用户比较容易学。另外我们也实现了像投控的一些交互,这样在信息来的时候我们可以快速,比方说你可以去打开它。第三个我们在交互上的设计,非常重要,我们尽量避免信息的过载,我们不去不停地推送信息,我们只有把一些重要的信息在需求的时候才推送出来,这是我觉得在整个产品交互设计上非常重要的一个理念吧。
OPPO Air Glass为何会选择单目方案?
主要是有,两个考虑吧,一个是从功能性上来讲,我们核心的功能想比信息快速带给用户,在这个层面上我们认为单目和双目本质上没有特别大的区别,双目不一定能够带来更多的方便,我们觉得单目也能够把信息带给用户,也不会说带来,我们也不想给他显示很多的信息,所以选择了单目,这是一个从应用场景的考虑。
另外一个考虑也是从硬件的考虑,如果我们加上双目,我们肯定不能保持在大约30克非常轻量的水准,会让整个设备比现在重,可能在原因在舒适性可能带来不利的影响,所以综合选择,我们最后选择了单目。您第二个问题问到相机模组,我们除了现在发布这个产品,我们做了很多创新,包括我们刚才也讲到了使用我们的手表跟它联动,我们做了一些手势算法,可以用手势来控制这个眼镜,包括相机模组,这都是属于创新。我们整个XR这块工作,不光是做产品,我们还是在这个产品之外,我们也做技术上的很多创新,所以这些都是我们一些创新点,也是希望在不远的将来能够把这些东西,更多的这种技术或者是产品能够带给大家。
OPPO为什么一直深耕AR领域,后续会不会开拓VR业务?
为什么我们认为OPPO一直在做AR,我们为什么想要做AR,其实是看重它的这种工具的属性,因为我们觉得VR可能在目前阶段我们看到的应用场景更多是是偏泛娱乐,影音或者是游戏的场景,而AR的场景给人的想象更大。当我们有一个万象图的地图或者全世界的地图,我们其实是可以做很多我们目前手机上不能实现的功能,这些功能可以给用户带来非常便捷有些革新性的体验,我觉得我们AR的想象更大,未来AR一定是可以跟手机媲美的这样一个个人终端,所以为什么我们一直在坚持在AR赛道上深耕的原因。您觉得未来有没有可能做VR,这个问题我们一直在看,我们目前来讲没有明确的计划。