豆丁微信公众号
君，已阅读到文档的结尾了呢~~
. .
扫扫二维码，随身浏览文档
手机或平板扫扫即可继续访问
.国内类Siri应用频出 存智能化程度不够高问题
举报该文档为侵权文档。
举报该文档含有违规或不良信息。
反馈该文档无法正常浏览。
举报该文档为重复文档。
推荐理由：
将文档分享至：
分享完整地址
文档地址：
粘贴到BBS或博客
flash地址：
支持嵌入FLASH地址的网站使用
html代码：
&embed src='http://www.docin.com/DocinViewer--144.swf' width='100%' height='600' type=application/x-shockwave-flash ALLOWFULLSCREEN='true' ALLOWSCRIPTACCESS='always'&&/embed&
450px*300px480px*400px650px*490px
支持嵌入HTML代码的网站使用
您的内容已经提交成功
您所提交的内容需要审核后才能发布，请您等待！
3秒自动关闭窗口深度学习和机器学习深度的不同之处 浅谈深度学习的训练和调参-电子发烧友网触屏版
近年来，深度学习作为机器学习中比较火的一种方法出现在我们面前，但是和非深度学习的机器学习相比（我将深度学习归于机器学习的领域内），还存在着几点很大的不同，具体来说，有以下几点：
1、深度学习，顾名思义，网络变深了，这就意味着这种深度学习类的网络可能有更多的layers，这意味着什么呢？也即表示这种深层的网络需要学习更多的参数，尽管我们知道在CNN中有共享参数等等技巧，但在此前提下，不妨认为随着网络层数的增多，需要学习的参数也在增加，那问题又来了，参数增加有什么问题吗？当然有问题，这是我们在机器学习领域内探讨的最多的一个问题，因为我们的目的都是为了减少泛化误差，提高模型的泛化能力，而在这一点，显然深度学习比一般意义的机器学习模型要复杂，复杂的模型训练不当，我们知道的，模型的泛化能力会显著下降。
2、深度学习比一般意义的机器学习模型要复杂，不仅表现在上一点的模型本身（指的是layers和parameters），也表现在不同的工作原理上。深度学习不再需要人工设计指定的特征，分类的特征是模型自己去学到的，这一点上意味着深度学习需要有更多的data，这又是和一般意义上的机器学习有所区别的。举个例子，同样是识别车辆，Haar-like+Adaboost可能只需要2-3k训练集，但对于深度学习来说，可能需要20-30k的数据集，当然这么多的data本身是和模型相匹配的，但是在一般意义上，不妨认为深度学习需要更多的data（本文不探讨大数据和深度学习（人工智能）的关系，只在一般意义上做出说明）。
综上所述，其实我们已经认识到了深度学习的本质，其实很简单，就是数据和模型，两者之间相辅相成，相互促进。认识到了深度学习的本质和与一般意义上的机器学习的区别，你才能明白调参和训练的技巧和建议对于深度学习而言是多么的重要，毫不夸张的说，直接影响到我们刚刚谈到的模型的泛化能力，而且是根本原因。
从我们准备数据集到训练到理想的模型的过程顺序，我们把其分成如下几个部分分别叙述。
1、Data augmentation（数据增强）。
个人理解数据增强主要是在准备数据集时，由于需要的data较多又得不到满足，则可以通过对颜色（color）、尺度（scale）、裁剪（crop）、翻转（Flip）、添加噪声（Noise）、旋转（Rotation）等等，这样就增加了数据集的数目，解决的是data不足的问题，近几年GAN模型的研究也取得了较大的发展，其主要的出发点就是解决了监督学习data不足的问题，经常可用于虚拟场景的仿真等等，感兴趣的可以深入研究。
2、Pre-processing（数据预处理）。
个人理解的是有了数据之后，难道就一定能很好的利用这些数据吗？如何评价这些数据的好坏？那要对数据进行预处理，预处理的前提是要正确的理解数据。数据之间存在相关性吗？假设你用了data augmentation，那显然数据集之间的相关性是较大的，说直白点，你用了两张一模一样的数据在训练集里，意义何在？所以接下来要讲的数据预处理很重要。常用的方法有：normalization（归一化）、PCA（主成分分析）、Whitening（白化）等。
（1）Normalization。可以这样认为，归一化主要在干这样一件事：把数据从一个一般的分布，变成0均值、单位方差的分布，为什么这么干呢？原因是这么做更容易收敛，这种方法在Caffe框架中普遍使用（mean value或者mean binaryproto 文件）。Batch Normalization（BN）是一个升级版本，作者主要考虑当使用了饱和的激活函数时，例如sigmoid函数变成0均值、单位方差则会出现在该函数中间近似线性的那一段，这是非常糟糕的，中间线性的部分的拟合能力最差，因此降低了模型的表达capacity，所以BN应运而生，实验表明，其效果sigmoid函数比Relu函数要好。
（2）PCA。研究如何以最少的信息丢失将众多原有的变量信息浓缩到少数几个维度上，即所谓的主成分。首先计算出协方差矩阵，然后求出协方差矩阵的特征向量，并用其对原特征进行线性变换，实现降维。
（3）Whitening。去除特征向量中各个特征之间的相关性，同时保证每个特征的方差一致。 设特征向量 X = (X1，X2，X3)，对于向量 X，可以计算出相应的协方差矩阵(根据已有数据集来估计)。我们希望协方差矩阵是一个对角矩阵，因为这意味着 X 的每个元素之间都是互不关联的，但是我们的数据并不具备这样的性质。为了解耦数据，我们需要对原始特征向量执行一个变换，从而使得变换后的向量 Y 的各个特征之间相关性为0。设 &S 是 X 的协方差矩阵，有：&S&P=&P&L， 那么 &L 中的每个元素都是协方差矩阵的特征值，&P 的每个列向量是相应的特征向量。如果对特征向量做变换：Y = X&P = X(&P1，&P2，&P3)，此时根据向量 Y 计算出来的协方差矩阵是一个对角矩阵。对角矩阵 &L 的特征值就是 Y 的每个元素的方差，可以全部相同，也可能不相同，如果对变换后的特征向量的某些维度进行缩放，使得 &L 的每个元素都相等，那么整个过程就是 whitening。
3、Initialization（初始化）。
当前两步完成之后，可以考虑模型参数的初始化方式了。此处举出实例，Caffe中的参数初始化方式有7种方法，分别为：constant、gaussian、positive_unitball、uniform、xavier、msra和bilinear。用的较多的是xavier用在权重初始化上，constant用在偏置初始化上。
4、Activation Functions（激活函数）。
深度学习之所以具有丰富的表达能力，非常关键的一点是激活函数，这就相当于一系列叠加在一起的非线性处理单元，可以想象出这一系列叠加的非线性处理单元原则上可以逼近任意函数（这指的是从输入到输出效果）。几种常用的激活函数：sigmoid、tanh和Relu，但是我们又介绍过之前广泛使用的sigmoid和tanh等饱和激活函数，使用它们在很深网络模型中的训练效果往往很不好，因为存在梯度消失的问题，例如下图中是一个sigmoid函数的例子，由于神经网络在反向传播时，需要乘以激活函数的一阶导数，这样逐层往前传，可想0.930=0.042，这就产生了两个极端，出现了如下图所示的梯度消失区，一旦梯度都已经很小了，还怎么学习？我们在Caffe中常用Relu函数有效地避免这一问题。
图1：sigmoid函数
5、During training（训练过程中）。
在训练过程中，要掌握学习率的变化策略，一般而言Caffe定义学习率在超参数配置文件中（solver.prototxt），并选择了学习速率的衰减策略（学习速率都是开始的时候大，然后之后变小，如何变，怎么变，我们将其称为策略，所以在论文中一般都会谈到这一问题），更为重要的是，可以在网络层定义中指定lr_mult选择某一层的学习率，该技巧也可为之后的调参做准备。另外一点非常重要的是fine-tune，微调的用处通常情况下就是你选择了一个较为深的model，也就是较为复杂的model，你并不需要把所有的layers都重新训练，而只是训练了其中的some layers，此时我们完全可以站在巨人的肩膀上（利用预训练模型的weights初始化），可以省去很多工作，更为重要的是，加上合适的调参还会提高模型的泛化能力（因为预训练的模型往往还未收敛）。
具体来说，存在以下几种情形：
注意微调的时候，在Caffe中操作需要改变微调的那些层的名字（同时根据自己的需要改变layer参数，例如图片的通道、全连接层输出的类别数目等）。
6、Regularizations（正则化）。
正则化也称为Weight-decay（限制权值）。正则化应该讲是一种避免over-fitting的有效方法，这里我们插入一段对over-fitting的分析，就我的认识而言，从事机器学习的工程师们经常会遇到很多问题，很多bug，但是可以这样说over-fitting是所有工程师都必须面对的一个问题，其具有很强的通用性，这是由于方法本身所决定的。既然大家都会遇到这个问题，又该如何解决呢？回头看，我们说过深度学习的本质就是数据和模型，那解决过拟合的根本途径也必须从这两个方向出发，那什么是过拟合呢？形象一点说就是你认为你的model在训练集上已经表现很好了，可是当你把它使用在验证集上的时候，效果则很差，进一步说就是数据集太少或者模型太复杂，两者显然不匹配。现在我们开始从这两个方向分析，解决方法两个：增加数据集和减小模型的复杂度（限制网络的capacity）。此处正则化就是从减小模型的复杂度出发的一项技术，其本质就是控制模型学习的特征数目，使其最小化，从而防止在训练过程中引入训练集的抽样误差，正则化包括L2正则化和L1正则化。
7、Dropout。
Dropout是指在深度学习网络的训练过程中，对于神经网络单元，按照一定的概率将其暂时从网络中丢弃，如下图所示。对于随机梯度下降来说，由于是随机丢弃，因此每一个mini-batch都在训练不同的网络（对于一个有N个节点的神经网络，采用dropout后，可以认为其是2n个模型的集合），同时每个网络只见过一个训练数据（每次都是随机的新网络），从而将这些多个模型组合起来，以每个模型的平均输出作为结果，caffe中也定义了Dropout层。
图2 Dropout示例
8、Insights from Figures。
如果说通过上面的方法，你都做了，还是存在问题，那就需要仔细的检查了，检查的方法有很多，其中最为形象生动的，也就是这里要说的就是画图，从图中进行推断。我们知道Caffe也给我们提供了很多画图的tools（称其为可视化），这对写论文、科研分析还是挺好的。言归正传，下面从网上找到几张图片，这些图片都可以从log中通过tools画出，让我们来看一看。
图3表示的是不同学习率下的loss变化曲线，很明显图中的四条曲线随着迭代次数的增加表现出不同的性能，黄色的曲线随着迭代次数的增加，loss先减少而后剧烈增加，往往引发loss等于Nan，这是由于选择的学习率太大的缘故（ps：本人亲测，有几次我在修改一些模型时，开始的loss就很大，然后选择了较大的学习率，一下子就Nan了）；蓝色的曲线随着迭代次数的增加，loss的减少速率很慢很慢，而且设置的最大迭代次数已经很大，但网络并没有收敛，这说明选择的学习率太小了；绿色的曲线随着迭代次数的增加，loss的很快减少，并且网络收敛在一个loss较高的地方居高不下，这说明选择的学习率有点大了，已达到局部最优，可观察在网络loss不降时降低学习率；红色的曲线随着迭代的次数的增加，loss缓慢下降，曲线相对平滑，最终收敛在loss很低的水平上，说明选择的学习率较好。当然图中是理想的曲线，只能说明变化趋势，实际情况下曲线是有波动的，有些毛刺感（ps：大量的实践证明可以接受的就是局部最优和全局最优了，也就是红色和绿色曲线代表的过程，当然大多数同志们遇到的都是局部最优，此时我们考虑在局部最优的基础上减小学习率继续训练，两者的区别就是局部最优会保持在一个较高的loss上，当然怎么衡量loss高低没有标准，所以局部最优不代表训练结果就差，局部最优的结果也可以媲美全局最优，因为我们根本不知道全局最优在哪个地方）。
图3：学习率与loss的关系曲线
图4表示的是不同迭代次数的loss变化曲线，从图中可以看到随着迭代次数的增加，loss的变化趋势是减小的，注意图中标注出的&宽度&，如果曲线的宽度太大了，则说明有可能你选择的batch太小了，而其实batch的选择在深度学习中也不是随便来的，太大了不好，太小了也不好，太大了会有显存溢出的错误，太小了有可能某个label很难被学到，这往往导致模型不收敛，或者出现loss为Nan等错误。这个时候可以用accum_batch_size来解决由于硬件不足不能选择较大batch的问题。
图4：迭代次数与loss的关系曲线
图5是模型在训练集和验证集上的精度曲线。红色曲线表示的是模型在训练集上的分类精度，可以看到，还不错，随着迭代次数增加，分类的精度也在增加，并且有收敛的趋势；绿色曲线表示的是模型在验证集上的分类精度，可以看出，与训练集的精度相比，差距很大，说明模型over-fitting了，应该运用上面说到过的解决方法解决。如果图中两者之间没什么大的差距而且精度都很低，应该增加模型的capacity，提升性能。
图5：模型在训练集和验证集上的精度曲线
我们都在通往真理的路上。
文章来源栏目
加载更多评论
后参与评论只知道坚果R1？ 它们也曾颠覆玩法
& & & & 【每日科技网】　　进入四月之后，各大国产品牌的旗舰机型以井喷般的趋势纷纷亮相，让人应接不暇，虽然作为旗舰手机，一定都是倾注了大量心血的产品，款款皆是极好的。但其中有一款，实在令人不得不对它高看一眼，它就是锤子出品的&次世代&旗舰坚果R1。
　　坚果R1搭载高通新一代旗舰移动平台&&骁龙845，人工智能的处理能力相较前代提升了200%，它支持全局压力感应，人机交互体验更加高效。众所周知，拍照在此前很长一段时间一直是锤子手机的&软肋&，此次坚果R1在相机配置上远超以往，它后置1200万+2000万像素索尼旗舰CMOS，前置2400万像素大光圈自拍镜头。此外，坚果R1还支持峰值功率10W的无线快充。
　　次世代旗舰?坚果R1
　　虽然上述这些都是构成坚果R1&次世代&的点，但最关键的是它还是截至目前全球存储容量的智能手机产品，达到了1TB。而之所以会推出如此大容量的版本，并不是拍着脑门儿做出的决定，而是为了服务于更加&次世代&的产品&&坚果TNT工作站。TNT工作站有别于传统意义上的手机或PC，它以更加智能、多元的人机交互体验致力于提升工作效率，不得不说是一款具有划时代意义的智能设备。
　　其实，凭借老罗自带热搜的体质，虽然这两款&次世代&产品才刚刚发布一周，却已是路人皆知，压根儿无需我过多赘述。但既然我们话赶话聊到&次世代&这个话题了，就索性延伸出去，再多唠扯点儿吧。
　　如果你跟我一样，生于八零或九零年代，打小就对类产品感兴趣，相信截至目前肯定已经用过了不少手机，那么，那些在它所问世的时代也曾改变过行业玩法，或者说具有特殊意义的产品，你还记得吗?今天就让我们借此机会一同来怀旧一下吧!
　　第2页：这些手机也曾是次世代的作品
　　全球商用手机 摩托罗拉DynaTAC 8000X
　　进入21世纪以后，手机逐渐&飞入寻常百姓家&，现在手里拥有两台，甚至三台手机的朋友相信已不在少数。但你知道全球商用手机是出自哪个品牌吗?它就是摩托罗拉的DynaTAC 8000X。
　　全球商用手机 摩托罗拉DynaTAC 8000X
　　摩托罗拉DynaTAC 8000X于1984年问世，不仅是全球商用手机，也是摩托罗拉的手机产品。据悉，这款手机的研发周期长达10年，真可说是&十年磨一剑&了。摩托罗拉DynaTAC 8000X上市之初售价高达4000美元，按当时的汇率换算，约合人民币9280元。它长25.4cm，重达790克，通俗点儿说就是一斤半还多，但是充满一次电却只能满足30分钟的通话时间。
　　引领&大哥大&潮流 摩托罗拉3200
　　摩托罗拉3200是正式进入我国市场的模拟信号手机，据悉，它曾在很长一段时期内以的优势垄断了我国的手机市场。并且，关于摩托罗拉3200还有一个有趣的故事，那就是由它而始，&大哥大&这一叫法逐渐流行开来。这是因为，摩托罗拉3200在上世纪80年代的香港电影中频频作为道具出现，而在影片中经常以老大角色示人的洪金宝时常会使用到它，就这样，&大哥大&这一叫法逐渐普及。
　　&大哥大&说的就是它 摩托罗拉3200
　　摩托罗拉3200搭载一块可双行显示的单色屏幕，支持英文短信、英文电话薄、DTMF音频发送、缩位拨号等功能。
　　进入我国的GSM手机 爱立信GH337
　　鉴于采用模拟信号的手机在实际使用中存在很多弊端，我国于1994年在广东省建立了第一个GSM网络，爱立信的GH337就是登陆我国市场的GSM手机。据悉，虽然当时广东的GSM网络刚刚初具规模，但GH337作为一款采用数字信号传输手机，相较之前的模拟手机在性能及其它方面还是要强上许多。
　　进入我国的GSM手机 爱立信GH337
　　爱立信GH337虽然相较此前的&大哥大&已经进行了&瘦身&，但依旧重达220g，支持900MHz的GSM网络，相较模拟信号手机在信号接收上要更加灵敏，并且携带方便，遗憾的是，这款手机依旧没能支持中文输入。
　　全球内置天线手机 汉诺佳CH9771
　　汉诺佳CH年推出，其在移动电话上采用了符合人体工学的S型设计。汉诺佳CHg，相对轻便，提供灰、黑、红三色可选，因而也算引领了手机产品的配色潮流。虽然，这款手机在我国内地市场并没有收获太多反响，但其首创的内置天线设计却令时至今日的手机都受惠无穷。
　　全球内置天线手机 汉诺佳CH9771
　　全球支持的手机 诺基亚6110
　　诺基亚6110上市于1997年11月，其出厂预装了由诺基亚工程师Taneli Armanto开发的经典《贪吃蛇》，因此被业内普遍认为是有史以来支持的手机，而《贪吃蛇》这款看似其貌不扬，玩起来却令人上瘾的小也随之火遍全球。诺基亚g轻，提供蓝、灰、紫三款颜色可选。
　　全球支持的手机 诺基亚6110
　　进入我国的WAP手机 诺基亚7110
　　诺基亚年5月在我国内地市场上市，这款手机有着一块堪称同时期市场上、最清晰的显示屏，而其自动滑盖的设计也给人一种梦幻般的体验。
　　进入我国的WAP手机 诺基亚7110
　　而最值得一提的是，诺基亚7110是进入我国市场的支持WAP上网的手机，虽然想要上网的话，用户需要经过一系列复杂设置，但这款手机相比同时期竞品而言依旧充满魅力，不仅可以浏览网页新闻，还可以收发e-mail。
　　全球翻盖手机 摩托罗拉8900
　　当人们逐渐对砖头一般的纯直板手机发生审美疲劳时，摩托罗拉又带来了不一样的创新，那就是全球第一款翻盖式手机&&摩托罗拉8900。这款手机于1995年上市，相比此前的纯直板式设计的手机，其在整机尺寸上要小巧很多，一经发布便引起巨大轰动，同时也为后面更加多样化的手机ID设计提供了很好的示范，为推动整个行业的创新起到了举足轻重的作用。
　　全球翻盖手机 摩托罗拉8900
　　它们首创的功能至今让我们受惠无穷
　　全球支持MP3播放的手机 三星SGH-M188
　　现如今，我们不仅能在手机上听歌，甚至还能看视频、看小说、看直播等等，手机早已成为我们中重要的娱乐工具，但你可曾知道，在18年前，如果你手里拿着下面这款手机，简直会羡煞旁人。
　　全球支持MP3播放的手机 三星SGH-M188
　　三星在2000年推出的SCH-M188是全球支持MP3格式音乐播放的手机，堪称音乐手机的鼻祖。
　　其内置了32MB的存储空间以及MP3播放器，开创了手机MP3功能的先河，但因在当时太过小众，因而没有受到市场太多关注。直到后来德国西门子公司推出了西门子6688手机，以更全面的功能让全球用户正式体会到了音乐播放的魅力，也为三星SCH-M188正了名。
　　全球拍照手机 夏普J-SH04
　　现如今手机的拍照功能愈发多样，什么背景虚化啦，变焦拍摄啦等等。但你可知道，在2000年的时候，是这款手机开创了这一功能的先河，此后，相机的地位一点一点被手机侵蚀着。
　　全球拍照手机 夏普J-SH04
　　2000年9月，夏普发布了一款型号为J-SH04的手机，它是全球支持拍照功能的手机产品。其后置11万像素的CCD摄像头，采用256色液晶屏，支持16和弦铃声，并且采用了当时日系手机标志性的细长状直板设计。
　　运行塞班系统的手机 爱立信R380sc
　　2000年12月，爱立信推出了R380sc手机，它是全球运行塞班系统的手机，内置了WAP网页浏览器，可以对用户的个人信息进行存储及管理，同时还支持网页浏览等功能。然而，虽然R380sc是塞班手机，但其在上市之初，运行是极不稳定的，很多用户反映经常会出现死机、卡机等情况。
　　运行塞班系统的手机 爱立信R380sc
　　运行iOS的手机 iPhone 2G
　　日，对于整个手机行业而言是个极不平凡的日子，因为苹果公司的智能手机作品&&iPhone 2G(也叫作初代iPhone)正式发布。
　　运行iOS的手机 iPhone 2G
　　初代iPhone让iOS这一至今依旧被很多智能手机用户誉为用的操作系统正式和大家见面，并后置了200万像素摄像头，遗憾的是它不支持3G网络，并且不可拆卸电池的设计在当时也被很多人吐槽。
　　运行Android系统的手机 HTC G1
　　如果说塞班系统有些暴露年龄的话，相信大家对于Android系统都不陌生，直到现在，Android也是全球装机率的智慧型手机系统。
　　运行Android系统的手机 HTC G1
　　在看到苹果iPhone火了以后，谷歌专门研发出了Android系统，于2008年10月联合HTC以及美国三大运营商之一的T-mobile推出了全球运行Andriod系统的智能手机&&HTC G1。
　　HTC G1支持3G网络，采用多点触控的电容屏，支持触摸操作、全键盘输入等功能，并且无缝&捆绑&了谷歌的多项服务，还支持存储卡扩展，这也是至今iPhone依旧望尘莫及的特性之一。
　　21:9比例的手机 LG BL40 New Chocolate
　　如果你当年曾是一枚LG粉，相信一定对其经典的巧克力系列不感陌生。2009年9月，LG发布了BL40 New Chocolate手机，它不仅是LG巧克力系列的第四代机型，其外形更加神似一板巧克力，LG BL40 New Chocolate是全球基于21:9纵横比设计的手机，其既修长又硬朗的造型一度为很多用户所着迷。
　　写在最后
　　通过这一系列回顾可以看到，其实，在时光的匆匆流逝里，我们在不知不觉间已经见证并亲历了手机行业这么多的变迁，这么大的变化，不得不让人感叹的脚步是如此的飞快。随着明后年5G时代的正式到来，不知道各大手机厂商还要让我们见证多少的惊喜与突破，就让我们拭目以待吧!
免责声明：本文仅代表作者个人观点，与每日科技网无关。其原创性以及文中陈述文字和内容未经本站证实，对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺，请读者仅作参考，并请自行核实相关内容。
本网站有部分内容均转载自其它媒体，转载目的在于传递更多信息，并不代表本网赞同其观点和对其真实性负责，若因作品内容、知识产权、版权和其他问题，请及时提供相关证明等材料并与我们联系，本网站将在规定时间内给予删除等相关处理.
11:09 广告
11:09 广告Google Pixel/Pixel XL实际体验如何? - 知乎<strong class="NumberBoard-itemValue" title="被浏览<strong class="NumberBoard-itemValue" title="2,036分享邀请回答10059 条评论分享收藏感谢收起17498 条评论分享收藏感谢收起Siri玩B-BOX是一种怎样的体验？