2017/11/13 苹果Apple iPhone X:解锁下一个新时代的创新革命

透过此法的采用，苹果正在进行一场消费电子用户接口的革命。此举带来的深远影响，将远超过智能型手机的市场范畴。 Tim Cook在iPhone X的新品发表秀一开始就提及，这只是一个新领域的开始。正如Yole Développement在3D影像和感应测技术报告 3D Imaging and Sensing所预测的，这是3D相机市场的发展的开端，而整体市场规模预估将于2022年增长至$ 60亿美元。

新技术是如何运作的？

iPhone X将红外摄像机与泛光照明器相结合，可在手机前投射均匀的红外线。然后，它可以拍摄图像，并且面部检测算法搜索其中的任何人。为了不一直工作，红外摄像机最可能与红外ToF接近传感器相关联，红外线接近传感器具有不同的波长，弹出手机前面的任何人。这可能是相机拍摄照片的信号，如果它检测到脸部，则iPhone X会启动其位图案投影机，以其位图案拍摄脸部图像。然后它将正常和位图形图像发送到应用处理单元（APU），应用处理单元（APU）将它们通过经过训练以识别所有者的神经网络，并因此解锁手机。这种方法的特殊之处在于，在这一点上没有计算出3D图像：3D信息包含在位图像中。为了运行3D应用程序，同一APU可以使用计算图像深度图的另一种算法。 iPhone X利用了A11芯片中可用的大量处理能力，因为已知结构化光学方法在计算上非常密集。使用神经网络是使其成为可能的关键技术。

新技术有哪些应用?

首先，3D摄像机是通过面部侦测、人脸识别和生物识别来解锁手机。其次，这是一个供动画短片图释影像的新接口，这个用法也衍生了一个新名词：“animojies”。伴随着与视觉简讯（visual messaging）近似的目标，3D立体“面具”可以被虚拟套用于某人的脸部，并将短片发布到像Snapchat这样的社群网络。这种扩增实境（Augmented Reality,AR）应用也可以应用于自拍摄影，使软件能够添加不同的3D虚拟背景。最后，3D摄录机也可以应用于摄影。自动照片编辑是主要的目标，因为可依需求设定不同的光线参数配置，特别适用于人物肖像。我们预期但尚未见到的应用是实时视频通话功能的强化。考虑所需的运算效能和3D摄像机所需的电力，“面具”似乎还无法因应如虚拟聊天室般的长时间使用。因为它没有在本周的苹果发表活动中被提及，我们推测可能需要新一代的硬件才有办法支持。

谁是受益者？

供货商名单与预期相比并没有太大变化。首先，红外摄像机、飞时测距ToF传感器和泛光照明器似乎被视为一组区块单元。由意法半导体STMicroelectronics供货，搭配Himax的照明器子系统，以及Philips Photonics和Finisar的红外光垂直腔表面发射激光器（VCSEL）。然后，在扬声器的右侧，常规的前置摄像头可能由Cowell提供，并由Sony提供传感器芯片。在最右边，“点阵投影仪”来自于AMS的子公司Heptagon。最后一个组件可能是最奇特的，因为iPhone X是第一款使用它的智能手机。它结合了可能来自Lumentum或Princeton Optronics的垂直腔表面发射激光器VCSEL，晶圆级透镜和能够投射30,000点红外光的衍射光学组件（DOE）。

人工智能(AI)方面又是如何?

iPhone X中人工智能技术的导入，延续苹果保护用户隐私的精神。脸部识别软件衍伸自深度学习（deep learning）技术，经过几十亿张图像的训练。这些包含Siri在内的高阶算法，通常在高端运算装置设备上运行于云端，而这显然需要客户端的互联网连接。在这种情况下，由于苹果希望避免将个人信息的数据发送至设备装置外，因此该软件可以在iPhone装置本身，网络的“边缘”（edge）上运行。这就解释了为什么在A11仿生处理器中会需要一个强大的运算芯片以一对核心的方式运行。这两个核心，苹果公司称之为“神经引擎”，完全致力于处理这种类型的计算。第一个计算技术基准检验显示，该技术远远领先于市场上的其他芯片。苹果公司开放iPhone使用AI的举动令人印象深刻，无论是在软件方面还是专用硬件方面。当然，这只是第一步，之后会需要不少的细部调整。由于AI在许多领域都有绝佳潜力，并且有鉴于苹果对市场的影响力，这些选择将决定整个行业的未来。

现存限制为何?下一步的发展方向又是什么?

正如大家所言，这只是一个新时代的开始，但是苹果已经示范了如何使用其人工智能软件和硬件来克服3D相机的许多既存缺点。结构光(structuredlight)的限制来自加速处理器APU所需处理的运算量及其在处理阳光时可能遇到的困难。由于3D摄像机并非时时刻刻都在搜寻脸孔，所以添加一个小型的飞行时间测距ToF探测器来告诉它何时该被唤醒/启动(wake up)成为关键。下一步应该会是全ToF数组摄像机。根据Yole所发布的技术路线图，应该在2020年之前发生。2017年已经成为iPhone在3D和扩增实境AR的重要年份，但AI还是最重要的主轴。在经过几年规格竞赛的竞争之后，苹果终于重拾据以闻名的天才名声。在iPhone推出十年之际，苹果终于能够将史蒂夫·乔布斯的精神重新带回到一个高价而有吸引力的产品。

作者群

Pierre Cambou

1999年，Pierre Cambou 投身影像产业。他于1998年同时获得弗吉尼亚理工大学科学硕士和Université de Technologie de Compiègne科技大学的工程学士学位元。近期，也从Grenoble Ecole de Management工商管理硕士学程（ＭＢＡ）毕业。 Pierre在2001年成为Atmel Grenoble，2006年成为e2v半导体公司的Thomson TCS担任过多个职位。2012年，他创立了新创公司Vence Innovation（现称为Irlynx），以推出破坏性的人机交互技术。他于2014年加入了“超摩尔定律”的市场研究与策略咨询公司Yole Développement，成为影像领域的负责人。

Guillaume Girardin 

Guillaume Girardin在“超摩尔定律（Ｍore than Moore）市场研究与策略咨询公司”Yore Développement担任MEMS器件和技术市场与技术分析师。Guillaume拥有Claude Bernard大学(法国里昂)的物理和纳米科技博士学位，和EM里昂商学院（EM Lyon School of Busines）的科技和创新管理科学硕士学位。

Yohann Tschudi

作为软件和市场分析师，Yohann Tschudi博士是Yole Développement（Yole）MEMS和传感器业务部门的成员。 Yohann每天都与Yole的分析师团队合作，研究从机器码（machine code）到最高等级的算法，以识别、理解和分析软件在任何半导体产品中所发挥的作用。 Yohann特别分析的市场区隔包括大数据分析的算法、深度/机器学习，遗传算法，均为人工智能（AI）技术的衍生。

在他于欧洲核子研究组织CERN（瑞士日内瓦）提出的粒子物理学论文之后，Yohann开发了专门为流体力学和热力学应用设计的软件。之后，他在迈阿密大学（美国佛罗里达州佛罗里达州）担任了两年的放射肿瘤科研究科学家，参与基于核磁共振成像（MRI）影像的AI方法的癌症自动检测和表征项目。在他的研究生涯中，Yohann撰写/共同撰写了10多篇相关论文。

Yohann拥有Claude Bernard大学（法国里昂）的高能物理博士学位元和物理科学硕士学位。

相关报告

3D成像和感测

除了传统的医疗和工业市场，3D成像和感测已经准备好征服消费者和汽车产业，以指数成长的模式从2016年的13亿美元，到2022年预估达到$ 90亿。

红外线LED及VCSELs垂直共振之半导体雷射

在2027年，3D成像、气体感测和自动对焦将促使红外光源市场达到3.8亿美元。点此了解更多：here