在上周发布的iPhoneX中，最吸引我的，不是那蠢萌的兔耳朵，而是苹果的FaceID。在苹果用FaceID取代TouchID的背后，是强大的视觉算法支持，让iPhoneX有能力识别各种欺骗和伪装，从而敢于将FaceID作为最重要的安全校验手段。

正如大家所知晓的，深度学习算法最近迅猛发展，推动着人工智能的发展。2012年AlexNet在ImageNet数据集上的成功，使沉寂已久的卷积神经网络(Concolutional Neural Network, CNN)再次获得人们的关注，VGG，ResNet等一系列模型的提出赋予了计算机接近人类的视觉能力。循环神经网络(Recurrent Neural Network, RNN)在自然语言处理和语音识别等领域的应用，突破了传统模型难以把握时序数据的瓶颈。深度学习作为一种基础能力，推动着迁移学习、强化学习等一系列相关学科的发展，当然，这里面也包括了视觉相关的变革。

为此，我们将多个经典的深度学习算法和模型，融入到Jarvis算法库中，并通过Tesla平台给大家使用。目前Jarvis的深度学习类目，已经集成了9种不同算法，分布于如下3大类：

本文将会重点介绍计算机视觉领域的几种经典算法，包括其原理、模型和适用场景。其他领域之后也会陆续有文章，请大家要持续关注哟～

计算机视觉是一门研究如何使机器“看懂”世界的科学。计算机视觉采用图像处理、模式识别和人工智能技术相结合的手段，着重于对一幅或多幅图像进行分析，从而获得需要的信息。因此计算机视觉也可以看做是研究如何使人工系统从图像或多维数据中“感知”的科学。具体来说，计算机视觉包含物体的检测和识别、物体跟踪、图像恢复(移除噪声等)和场景重建等。

Learning便一发不可收拾，ILSVRC每年都不断被深度学习刷榜。下图中的这些模型，代表了深度视觉领域发展的里程碑。随着模型变得越来越深，Top-5的错误率也越来越低，在Resnet上的结果已经达到了3.5%附近，而在同样的ImageNet数据集上，人眼的辨识错误率大概在5.1%，也就是说深度学习模型的识别能力已经超过了人类。

Alexnet、VGG等网络不仅在ImageNet上取得了很好的成绩，而且还可以被用于其他场景。为了方便用户能灵活快速地训练这些模型，我们在Jarvis中，集成了这些算法。用户可以在Tesla上直接拖出对应算法节点，无需再编写复杂的网络定义和模型训练代码，就可以对相应的图片进行训练，得到一个基本可用的模型。当然了，如果要效果好的话，还是要自己耐心慢慢调试的哈～

AlexNet的网络结构如下图所示，可以看到AlexNex在大体结构上仍遵循了传统CNN的原则，由卷积、下采样和全连接层逐一构成。图中诡异的“上下分层”的画法其实是指GPU的并行。

AlexNet在ImageNet上能取得较好的成绩，除了利用较深和较宽的网络结构来增强学习能力外，在数据处理和训练技巧上还有以下几点值得借鉴：

Data Augmentation(数据增强)是一种在基础数据上进行一系列操作，从而得到更多数据，来增强数据集的多样性的手段，可以在一定程度上减少过拟合。AlexNet在ImageNet上训练时用到的数据增强方式有以下几种：

Dropout是指在深度学习网络的训练过程中，对于神经网络单元，按照一定的概率将其暂时从网络中丢弃。对于随机梯度下降来说，由于是随机丢弃，因此可以看做每一个mini-batch都在训练不同的网络。它是防止网络过拟合，增强模型泛化性的一个有效方法。

下图左边是常见的层连接，每一次dropout都相当于从原始的网络中找到一个更“瘦”的结构，像右图那样。在训练阶段，我们设定一个dropout因子p，范围为0-1，表示在前向计算阶段需要随机断开的连接的比例，并且在反向传播时只更新没有断开的权重值。在测试阶段则需要使用全部的连接，但这些权重都需要乘上1-p。

需要注意的是，每一次的断开和更新都是以p的概率随机实现的，因此每次迭代时的断开都不一样。对于一个有n个节点的神经网络，假设dropout因子p=0.5，那么在前向的次数足够多的情况下，在整个训练过程中会得到2^n种连接组合，也就相当于训练了2^n个模型，***得到的是2^n个模型的组合。

ReLu激活函数与传统的Tanh或Logistic函数相比有以下几个优点：

• 前向计算和反向求偏导的过程都非常简单，没有复杂的指数或除法之类的操作
• 不像tanh和logistic那样有”flat spot”，因此不容易发生梯度弥散的问题
• 关闭了左边，可以使很多隐层输出为0，因此使网络变得稀疏，有一定的正则化作用，可以缓解过拟合

Relu函数的缺点也体现在被关闭的左边部分，如果某些节点的输出落在函数左边，那么其将“永无翻身之日”。为了解决该问题后来又出现了pRelu等改进的激活函数，即给函数左边也赋予一定的梯度，在保证非线性的同时不至于让某些节点“死掉”。

神经生物学上有一个概念叫做“侧抑制(lateral inhibitio)”，指被激活的神经元对相邻神经元有一定的抑制作用。

LRN就是借鉴侧抑制的思想来对局部神经元的活动创建竞争机制，使响应比较大的值相对更大，从而提高模型的泛化能力。LRN有两种归一化模式：通道内和通道间，具体可以参考该篇文章。在论文的ImageNet的实验中，LRN可以降低1.2%的top-5错误率，但从我们在其他数据集上的实验来看，LRN提升训练效果并不是那么显著，因此可以看到LRN的操作并不是适用于所有场景的，还是要多实验才能出结果。

顾名思义，就是指在做pooling的时候也会存在overlap的部分。一般来说pooling是将输入的结果进行分块处理，通过提取该块的***值(max pooling)或平均值(average pooling)来实现下采样的过程，这里的块间是相互不交叠的。在AlexNet中却会有overlap的部分。和LRN一样，这个trick不一定适用于所有场景。

综合以上几个技巧，整体来看，AlexNet还是非常经典的一个算法。所以我们将AlexNet集成到Jarvis的深度学习算法的视觉类目下。在实现上，我们根据AlexNet原本的构建和训练方式、参考Alex发表的《》这篇文章，做了如下几个事情，包括：

• 移除了LRN层，并将参数的初始化改成xavier方式。
• 激活函数使用Relu函数
• 自动Resize：在数据的输入上，给定的输入图像是224x224x3的大小，如果读取到的图像大于该尺寸，则会将其随机crop到224x224x3，如果读取到的图像小于该尺寸，则会将其resize到224x224x3。

另外，我们对输入图像也提供了一些data augmentation的操作，包括水平翻转、颜色、光照变化等，文章后部分会有相关参数的描述。

VGG16继承了alexnet的框架，但其通过加深卷积层数的方法获得了比AlexNet更高的图像识别率，是一种比AlexNet更深的网络结构，如下图所示，更详细的网络结构参数可以参考该论文。

与AlexNet相比，VGG16明显的不同之处在于：

通过网络结构图可以看到，vgg16中含有多个连续的convolution操作(图中黑色框部分)，而这些卷积层的卷积核大小都为3x3，相比AlexNet的7x7小很多。可以理解成VGG通过降低filter的大小，同时增加卷积层数来达到同样的效果。

较小的卷积核在一定程度上减少了需要训练的权重个数,假设输入和输出的channel数都为C，在7x7大小的卷积核下，该层的权重个数为7x7xCxC=49xCxC，而此时VGG中连续的3个卷积层的权重个数为3x3x3xCxC=27xCxC。权重个数的减少有利于网络的训练和泛化。

对比AlexNet和VGG可以发现AlexNet的channel数明显小于VGG。如此一来，网络可以对输入提取更丰富的特征。VGG之所以能够达到更高的准确率，与通道数的增多有较大关系。

VGG16也被集成到Jarvis的深度学习算法的视觉模块下。除了网络结构的定义不同外，其他都与Alexnet相似，包括全连接层的dropout设置，Relu激活函数和L2的正则化。

VGG19和上面小节所述的VGG16其实出自同一篇论文，是一种方法的两种不同配置。VGG19的网络结构与VGG16非常相似，差别在于VGG19在第3、4、5个“卷积块”里分别加多了一个卷积层，因此比VGG16多了3个weight layer。这里就不再赘述。

除了上述的AlexNet和VGG系列的网络结构外，Jarvis还会逐步集成Googlenet，Resnet等，欢迎大家持续关注。

经典算法虽好，但是总会有一定的局限性的。为了提供更好的灵活度，Jarvis上还集成了基于卷积神经网络的分类和回归算法，其***优点是可以对网络结构进行灵活的自定义，从而满足不同场景下的需求。

在TensorFlow中定义一个卷积+激活层通常需要如下几行代码：

这还只是一个卷积层的构造，如果我们要构建的网络由十几或者几十层组成，则估计要敲好几百行代码了，而且重点是你就算复制黏贴相同性质的层也不一定找得准眼花缭乱的参数啊。

好在tensorflow也支持一些接口的高级抽象如slim、keras和tensorlayer等，这样一个卷积层就可以一句话写完，比如在slim可以如此定义一个卷积层操作：

尽管这些高级接口使网络的定义简便了不少，但如果在训练过程中要多次调整网络结构，这样hardcode的形式则仍然很不方便。

鉴于以上，我们在tesla上实现CNN时，将网络结构单独抽出来作为一个可修改的参数传入到算法中。该网络参数其实是一个json文件，文件中的每一行表示一个层，***几行表示数据输入的一些信息。

一个CifarNet的网络结构如下图所示：

将该CifarNet转成我们自定义的json文件后示例如下：

还有更懒的亲们甚至可以直接复制这份模板，然后按自己的网络定义更改一下里面的参数就可以了。在tesla界面运行时，如果需要修改网络结构，可以直接在界面右边的参数配置编辑该json文件，不需要再修改并上传代码啦~~

基于上述的自定义网络结构的特点，我们配置了CNN的分类和回归两种算法。

基于卷积神经网络CNN的分类算法。支持如上所述的网络结构自定义，可以适应不同场景下的图像分类任务。

基于卷积神经网络CNN的回归算法，与CNN classification类似，区别在于训练时用的是欧氏距离损失函数，可以接受float类型的标签。注意在配置网络结构时***一层的feature map个数为1，而不是分类中的类别数。

Jarvis视觉算法的使用

目前，Jarvis主要通过Tesla平台透出，其训练和使用都非常简单，总体来说可以分为三个步骤：数据准备、模型训练和模型使用

在开始训练前，我们需要准备好训练集和测试集数据。对于目前计算机视觉目录下的算法，输入都为图像数据，并且都需要转换成tfrecord的格式。

打开Tesla的工作界面，在输入->数据源下拖出数据集节点，点击该节点，完整填写界面右边的参数配置选项，便完成了一个数据节点的配置。转换节点可以加在数据节点之后。为了方便用户使用，我们会提供一个image->tfrecord的转换工具，放在输入->数据转换目录下。

在tesla工作流界面从左边的深度学习算法下拖出想要训练的算法节点。点击该节点，右侧会出现参数配置选项，包含算法IO参数，算法参数和资源配置参数。

指定模型训练时所需的GPU和CPU资源。

用于指定数据集、模型存储和Tensorboard保存的ceph路径，这里我们只需要指定数据集所在路径，而模型存储和Tensorboard路径由Tesla默认指定。

如果算法节点上有对应的数据集节点，则该数据集节点的数据路径会自动匹配到算法的数据输入路径，不想拖数据集节点的用户也可以手动填写算法的数据输入路径。

用于指定训练过程中所需的参数。深度学习各算法的参数有一部分是相通的，如批处理大小、学习率和迭代次数等。但不同的算法也可能有自己特殊的参数。在下面的介绍中，我们将会在各算法的详细介绍链接里找到对应的参数解释。

对于CNN Classification/Regression算法来说，由于支持网络结构的自定义，因此参数与上表会稍有不同。以工作流右侧的参数配置项目为准。

配置完各参数后，右键点击该算法节点，选择起点运行即可开始训练模型。在训练过程中可通过tensorflow控制台查看log信息和tensorboard可视化，便于把握训练走向。

模型使用指用训练好的模型做预测工作。除了在刚训练完成时对模型做预测外，Tesla还贴心地提供了模型收藏功能，可以留待以后再做预测。

模型收藏：在模型操作下选择收藏模型可以将模型收藏到tesla界面左边的个人模型目录下，下一次需要使用的时候可以直接拖出模型节点，填写相应的配置参数，右键选择起点运行即可。

本篇文章介绍了计算机视觉领域比较经典的几种深度学习算法，同时展示了如何在tesla平台上快速灵活地训练和使用深度学习模型。在算法Demo下有各个算法的样例工程供大家参考。

***，再一次提一下苹果的FaceID。FaceID的成功启用无疑是计算机视觉领域在人类生活应用中的一大进步，其低于指纹解锁的破解率与背后的机器学习尤其是深度学习算法密不可分。当然，FaceID背后的人脸识别技术肯定比本文中简单介绍的几种算法复杂的多，这里我们就不深入探讨了，因为就算你问我我也不知道呀，呵呵~~ 不过，苹果在去年的CVPR上发表了一篇SimGAN的文章《》，有兴趣的可以看一下。另外，苹果在去年的NIPS上宣布会开始公开他们的研究成果，相信这一决定会给学术界和工业界带来很多惊喜，大家可以期待一下。

***+1，本文由andymhuang和royalli指导完成，这里表示感谢。如果在使用算法时遇到相关问题，欢迎咨询我(joyjxu)或者royalli，也墙裂欢迎各种批评指正意见!

【本文是51CTO专栏作者“腾讯云技术社区”的原创稿件，转载请通过51CTO联系原作者获取授权】

iPhone X是苹果公司设计、开发与销售的一款iPhone系列智能手机，于2017年9月13日由苹果CEO蒂姆·库克在史蒂夫·乔布斯剧院发布，是苹果公司iPhone上市十周年的纪念机款。 iPhone X操作系统使用iOS 11，采用了Apple A11仿生处理器，拥有6个处理核心，属于高端版机型。其外观上采用了全新设计，搭载色彩锐利的OLED屏幕，并使用3D面部识别（Face ID）传感器，是苹果的一款经典产品。

“整部iPhone X，看起来就是一块几乎整面的屏幕。”苹果中国官网是这么来形容iPhone X这次所采用的全面屏设计，iPhone X取消了苹果沿用了10年的底部Home键，采用双面玻璃+金属材质中框设计，材质为OLED，采用了防油渍防指纹涂层，底部的接口和两侧的按键设计和iPhone第七代系列一样，没有变化。

背部的明显变化是后置双摄改为了竖向排列。

iPhone X显示屏是iPhone有史以来最为出色一块屏幕，支持3

D Touch压感操作，支持HDR显示。iPhone X使用Face ID人脸识别。额头处除了传统的光线与距离传感器，集成了红外线等传感器，其前置摄像头也提升到了700万像素，支持背景虚化自拍。iPhone X加入了无线充电功能，支持IP67级别防水防尘。

iPhone X搭载的A11 Bionic处理器加入人工智能神经网络和AR方面的支持，搭载了提升拍照的苹果独立设计的ISP。截止发布iPhone X前苹果性能最为强劲的一款处理器。

背部后置双摄，为1200万像素广角镜头（F/1.8光圈）+1200万像素长焦镜头（F/2.4光圈）组合，支持人像模式背景虚化。

处理器：A11 Bionic采用6核64位架构，集成M11运动协处理器，A11比A10运行速度提升70%，苹果自主研发的GPU性能则提升30%

iPhone X采用无边框屏幕，采用超级Retina显示屏以及OLED技术。从外观上来看，正面由一块异形屏构成，整个前部只保留顶部的听筒、自拍相机和传感器。

iPhone X尺寸是5.8英寸，外框将是一个连续的不锈钢带，前面和后面都是增强性玻璃面。

这是iPhone自2010年发布iPhone 4之后，又重新回归前后玻璃+不锈钢中框设计。

后置竖排双摄，玻璃后壳

iPhoneX采用了后置双1200万像素摄像头，广角镜头光圈为F1.8、长焦镜头光圈升级至F2.4，双镜头均支持光学防抖，并且采用了四颗LED补光灯。零延迟的快门，可以更加准确抓住关键瞬间。前置摄像头700万像素，光圈F2.2，拥有景深识别功能，可以拍摄人像模式的自拍。

拥有比以往尺寸更大、速度更快的1200万像素感光元件、新的色彩滤镜、更深层的像素，以及新的支持光学图像防抖的长焦镜头。两个后置镜头都具有光学图像防抖功能，而且反应飞快，即使在弱光下，也能拍出效果出众的照片和视频。

iPhone X能通过广角和长焦镜头实现光学变焦。另外，通过数码变焦，还能拍摄最高达10倍变焦的照片和最高达6倍变焦的视频。

原深感摄像头能对50多种不同的面部肌肉运动进行分析，从而以12款“动话表情”镜像出你的神态。

Apple设计的新款三核心图形处理器，与A10 Fusion相比，速度提升幅度最高可达30% 之多。

从滑动解锁到Touch ID，再到面部识别解锁，iPhone X再一次创新了手机解锁方式。iPhoneX取消了Home键，而原本集合在Home键上的Touch ID功能将被FaceID取代。该功能可以支持用户面部解锁。据介绍，为了实现FaceID，苹果运用了许多最先进的技术：红外摄像头、环境感应器、光感传感器等。在安全性方面，Touch ID的识别准确度是五万分之一，但Face ID解锁iPhone的准确度是100万分之一。换句话说，另一个人用Face ID解锁你的iPhone的几率是百万分之一。同时，Face ID还能够实现“刷脸”支付。

iPhone X采用全面屏设计，实体Home键被取消，只要触摸屏幕，即可唤醒。[6]此外，可以通过语音、按侧边按键启动Siri。[

A11仿生闪亮登场。这款iPhone上有史以来最强大、最智能的芯片，拥有一个每秒运算次数最高可达6000亿次的神经网络引擎。

全新中央处理器的四个能效核心速度比A10Fusion最高提升70%，两个性能核心也有了最高达25%的速度提升。

利用机器学习技术，当你的样貌随着时间推移发生了改变，面容ID也会跟着调整适应。

iPhoneX的后置摄像头区域还加入了3D激光测距系统，HomePod的固件中有与新的“SmartCam”模式相关的配置，它能够检测用户周围的环境，据此调整曝光、焦点和白平衡等。

有了先进的面部识别技术，因此iPhoneX将原本静态的emoji表情升级为动态Animoji。Animoji表情可以“追随”用户的表情，形成动态的、个性化的表情包。

不要在iPhone和充电器之间放置任何东西，因为这会使磁性外壳或其他物体降低性能或某些信用卡，安全徽章，护照和钥匙链中的磁条或RFID芯片被损坏。

苹果公司已经确认此事，如果将信用卡放置在iPhone玻璃背面和充电板之间，使用无线充电可能会损坏信用卡，这包括iPhone 8和iPhone X，并应该适用于几乎所有支持无线充电的其他智能手机。

无线充电使用磁感应来为iPhone充电。不要在iPhone和充电器之间放置任何东西。磁性外壳或其他物体可能会降低性能或损坏某些信用卡，安全徽章，护照和钥匙链中的磁条或RFID芯片。所有这些敏感物品，请在充电之前将其取出，或确保它们不在iPhone背面和充电器之间。

　　今天凌晨，苹果正式发布了iPhoneX，看似完美的它有了一点不太完美的地方：取消指纹识别。

　　是的，由于屏幕指纹技术尚无法量产，所以苹果在iPhoneX采用了FaceID面部识别技术，并没有使用指纹识别。

　　从理论上来讲，面部识别是比指纹识别更方便快捷的技术，通过iPhoneX前置3D传感器对面部进行扫描识别，不仅能用于解锁手机，还能通过FaceID进行ApplePay支付。

　　相信未来支付宝、微信以及各大支付软件App都会很快适配FaceID支付，因此果粉们并不用担心这一功能没有用武之地。

　　不过，网友们似乎对FaceID功能并不太感冒，甚至想出来不少段子来黑FaceID。比如晚上睡觉被媳妇儿偷偷拿iPhoneX刷脸解锁，结果婚姻走向破裂，又比如被坏人绑架强行拿走iPhoneX刷脸解锁并支付ApplePay等等。

　　事实上，果粉们完全不用担心出现这样的情况，FaceID并不仅仅是简单的面部识别，还包括眼球追踪等特性，如果你睡着了或是紧闭双眼，仅靠面部扫描是无法完成解锁或是支付的。

　　强行掰开你的双眼？这个时候你也该醒了吧。至于被绑架的情况，又不是坏人没法把你的指头按到Home键...

　　当然，FaceID面临的问题也比较多，比如化妆、整容、带墨镜等情况能否正常解锁还是未知数，只能等待相关评测了。

　　但可以确认的，FaceID不像指纹一样能同时录入多个，FaceID只能录入一个面孔，一旦你要录入新的面庞就需要将旧的删除。

是由广东飞新达智能设备股份有限公司【.cn】自主开发，目前推出市面的是该系列第三代机型。本系列产品主要应用于手机盖板、背板、保护片等需要曲面玻璃工艺的成型加工，同时对平板、车载显示、智能穿戴领域的曲面玻璃工艺提供配套生产。欢迎来电咨询：。