微软HoloLens视觉芯片细节

微软(Microsoft)近日首度透露了其增强现实(AR)头戴式设备HoloLens内部的客制化视觉处理器芯片细节;该款芯片的处理能力达到每秒1兆(trillin)次画素运作(pixel-operations),功耗比采用代号Cherry Trail的英特尔(Intel)Atom系列核心之主机处理器的4W还低。

该HoloLens处理单元(HPU)融合来自5个摄影机镜头、一个深度传感器以及运动传感器的输入信息,将之压缩并传送到Intel的主处理器SoC;此外HPU还能辨识手势以及涵盖多个房间的地图环境。微软在今年稍早介绍了HoloLens的主要功能内容,但并未公开其HPU细节。

微软评估了包括来自Movidius等供货商的市售计算机视觉芯片,却发现并没有任何一款产品能以其要求的性能、延迟以及功耗目标处理所有算法;而后来的客制化HPU是采用28纳米台积电(TSMC)制程,内含24颗Tensilica数字信号处理器(DSP)核心以及8Mbyte的高速缓存, 在尺寸仅12x12mm的芯片封装中纳入了6500个逻辑闸和1Gbyte容量的LPDDR 3。

在近日于美国硅谷举行的Hot Chips大会上介绍HPU的微软杰出技术人员Nick Baker表示,选择Tensilica核心有部份原因是考虑其弹性,微软在核心中添加了300个客制化指令集:“如果你无法添加客制化指令集,最后可达到的数学运算密度不会是你需要的。”

HPU芯片混合采用独立的加速器(accelerator),以及与DSP核心紧密耦合的加速器,在一个纯软件版本达到整体200倍的加速;Baker表示:“我们尽可能按照需要采用可编程元素以及固定的功能硬件,以达到我们需要的性能目标;”芯片的软件程序代码包含多样化的算法:“具备不同的成熟度、数学运算以及内存存取模式。”

Baker透露,HoloLens的开发分成硬件、软件、用户体验与性能等不同团队同时进行:“我们在这个项目上将共同设计发挥到极致;”他并强调,微软内部就有能力可将软件仿真(simulation)测试结果,转化为也能在最终硬件成果上执行的硬件仿真(emulation)程序:“所有工作都在Windows 10开发期间同时进行。”

在3月份上市定价3000美元的HoloLens开发工具包就内含了HPU;不过对于HPU是否将有更新计划,或是微软何时会推出消费者版本的HoloLens,Baker婉拒发表意见。展望未来,Baker认为设计工程师们会将头戴式设备进一步推向8K分辨率,以及支持更宽广的视野。

“注视点渲染(Foveated rendering,也就是将用户目标聚焦范围以外的任何景物维持模糊化的一种方法)可望变得越来越普及…以及各种不同分辨率的显示器也可能出现;”Baker表示:“我们需要思考这样的趋势对GPU、互连技术以及面板产业等整个供应链会带来什么影响。”

免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。