width:100%">
路过的帮顶
width:100%">
width:100%">
也许似乎大概是，然而未必不见得。
width:100%">
我只是路过，不发表意见
width:100%">
因为谦卑,所以高贵.因为懂得,所以慈悲；因为陌生,所以勇敢,因为距离,所以美丽.
width:100%">
键盘下的忧伤涨姿势
width:100%">
我就搞不明白了，看帖回帖能死人么，居然只有我这么认真的在回帖！
width:100%">
一楼招租，租金面议！100年起租。
width:100%">
在神经的人群里呆久了，我发现我正常了。
width:100%">
12345678910
打开手机扫一扫
Comsenz Inc. Design: Dean. DiscuzFans.近日，苹果一改往日神秘的作风，发布了公司历史上第一篇人工智能方面的学术研究论文，探究改进计算机视觉系统识别能力的方法，描述了如何训练计算机视觉算法使用合成的或计算机生成的图像，来识别物体的技术。此举标志着苹果正对其封闭式战略进行调整。这篇论文题为“通过对抗训练从模拟的和无监督的图像中学习”，文章长达16页，由Ashish Shrivastava等六位苹果公司人工智能团队研究员撰写。尽管论文12月22日才在康奈尔大学图书馆系统中显示，但文章在11月中旬就已经被提交审阅。这说明苹果在12月7日宣布将允许其人工智能团队发布研究论文前，就已经开始酝酿此事。在机器学习研究中，与单纯依靠真实世界的图像来训练模型相比，使用合成的数据往往更为高效，因为计算机生成的图像通常是被标记的。比如说，合成的图像往往已经对一只眼睛或一只手的照片加上了“眼睛”或者“手”的注释，而真实世界眼睛或手的照片对于算法来讲是一样未知的东西，还需要通过人类操作员进行描述和标注。精炼器网络的对抗性训练算法苹果的论文也指出，完全依靠模拟的图像来训练模型可能会让结果不尽如人意，因为计算机生成内容有时不足以达到精确学习的真实性标准。因此，苹果提出了一种“模拟+无监督学习”（Simulated + Unsupervised Learning）的新方法，来提高合成训练图片的质量。模拟+无监督学习（Simulated + Unsupervised Learning）将未加标签的真实图像数据和加注释的合成图像结合起来，提高合成训练图片的质量。在实际操作过程中，这种模拟+无监督（简称S+U）学习会将未加标签的真实图像数据和加注释的合成图像结合起来，使用无标签的真实数据从模拟器中学习能够提升合成图像的真实度的模型，同时还能保留其标注信息。这一技术很大程度上基于生成式对抗网络（Generative Adversarial Networks，GANs），这种网络主要利用两种竞争性的神经网络之间的对抗关系来工作——让生成器（generator）和鉴别器（discriminator）相互对抗，来更好地识别生成的数据和真实的数据。这一过程目前已经被验证在“超高分辨率”的图像生成时有所成效，其团队也指出，他们最终期望的结果是“探讨精炼的视频”。苹果这篇论文的第一作者Ashish Shrivastava拥有马里兰大学的计算机视觉博士学位，其他成员包括Tomas Pfister, Oncel Tuzel, Wenda Wang, Russ Webb和Josh Susskind。其中，Josh Susskind联合创立了一个根据人面部表情来分析情绪的人工智能创业公司，今年早些时候，这一公司已被苹果收购。苹果此次发布第一份人工智能论文对于公司来讲是迈出了重要的一步。多年来，苹果的神秘不仅一直被人工智能研究社群诟病，还为其招纳人工智能方面的人才设置了障碍，有很多想要自己的研究成果被同行看到并认可的人才，可能就会选择不去苹果。相比之下，谷歌、Facebook和微软等公司的机器学习研究团队不断壮大，每家公司都发表过上百篇论文，在业界树立口碑、增强影响力的同时，获得同行的评估与修正，形成良性循环。在科技界越来越多推动开发高端人工智能软件的今天，苹果从摄像头的适配、数据中心的网络服务到Siri、自动驾驶车平台的开发等，都离不开人工智能，此次的开放之举对于公司该板块的发展来讲也是必要之举。原文：Learning from Simulated and Unsupervised Images through Adversarial Traininghttps://arxiv.org/abs/学术帮QQ:; Email：academic-欢迎投稿，欢迎分享，转载请注明声明：本文发表仅是出于传播信息需要，并不代表本平台观点友情支持：&科研神器--文献鸟：http://www.storkapp.me/钱学森空间技术实验室：/）英诺维（北京）科技有限公司：http://www./学术帮(xueshubang)　
　文章为作者独立观点，不代表大不六文章网立场
xueshubang科研进展追踪，学术信息共享，依托新媒体平台，倡导跨学科交流，提高科研创新能力！热门文章最新文章xueshubang科研进展追踪，学术信息共享，依托新媒体平台，倡导跨学科交流，提高科研创新能力！&&&&违法和不良信息举报电话：183-
举报邮箱：
Copyright(C)2016 大不六文章网
京公网安备78学界丨生成对抗网络（GANs ）为什么这么火？盘点它自 2014 年以来的主要技术进展-元征科技末来实验室-微转化
学界丨生成对抗网络（GANs ）为什么这么火？盘点它自 2014 年以来的主要技术进展
18:12&元征科技末来实验室&
两年前，蒙特利尔大学 Ian Goodfellow 等学者提出“生成对抗网络”（Generative Adversarial Networks，GANs）的概念，并逐渐引起 AI 业内人士的注意。其实，直到 2015 年，生成对抗网络还称不上是炙手可热。但自今年（2016）以来，学界、业界对 GANs 的兴趣出现“井喷”：多篇重磅论文陆续发表；Facebook、Open AI 等 AI 业界巨头也加入对 GANs 的研究；它成为今年 12 月 NIPS 大会当之无愧的明星——在会议大纲中被提到逾 170 &次；“GANs之父” Ian Goodfellow 被公推为人工智能的顶级专家；业内另一位大牛 Yan Lecun 也对它交口称赞，称其为“20 年来机器学习领域最酷的想法”。现在，雷锋网获得消息，就连苹果也跳上了 GANs 的彩车：苹果有史以来第一篇公开发表的 AI 论文，讲的是如何更好地利用 GANs，来训练 AI 图像识别能力。这是继苹果本月初在 NIPS 大会上宣布“将对外公布 AI 研究成果”之后，为兑现诺言做出的行动。那么，GANs 是如何从一个原本“不温不火”的技术，成为今天人工智能的主要课题之一？雷锋网对此进行了梳理，归纳了 GANs 从诞生到现在如何一步步走向技术成熟。以下是它发展路线中的大事件（主要研究进展）：1. GANs 诞生Ian Goodfellow2014 年 6 月，Ian Goodfellow 等学者发表了论文《Generative Adversarial Nets》，题目即“生成对抗网络”，这标志着 GANs 的诞生。文中，Ian Goodfellow 等作者详细介绍了 GANs 的原理，它的优点，以及在图像生成方面的应用。那么，什么是 GANs？用 Ian Goodfellow 自己的话来说：“生成对抗网络是一种生成模型（Generative Model），其背后基本思想是从训练库里获取很多训练样本，从而学习这些训练案例生成的概率分布。而实现的方法，是让两个网络相互竞争，‘玩一个游戏’。其中一个叫做生成器网络（ Generator Network），它不断捕捉训练库里真实图片的概率分布，将输入的随机噪声（Random Noise）转变成新的样本（也就是假数据）。另一个叫做判别器网络（Discriminator Network），它可以同时观察真实和假造的数据，判断这个数据到底是不是真的。”对不熟悉 GANs 的读者，这番解释或许有些晦涩。因此，雷锋网特地找来 AI 博主 Adit Deshpande 的解释，更加清楚直白：“GANs 的基本原理是它有两个模型：一个生成器，一个判别器。判别器的任务是判断给定图像是否看起来‘自然’，换句话说，是否像是人为（机器）生成的。而生成器的任务是，顾名思义，生成看起来‘自然’的图像，要求与原始数据分布尽可能一致。GANs 的运作方式可被看作是两名玩家之间的零和游戏。原论文的类比是，生成器就像一支造假币的团伙，试图用假币蒙混过关。而判别器就像是警察，目标是检查出假币。生成器想要骗过判别器，判别器想要不上当。当两组模型不断训练，生成器不断生成新的结果进行尝试，它们的能力互相提高，直到生成器生成的人造样本看起来与原始样本没有区别。”早期的 GANs 模型有许多问题。Yan Lecun 指出，其中一项主要缺陷是：GANs 不稳定，有时候它永远不会开始学习，或者生成我们认为合格的输出。这需要之后的研究一步步解决。2. &拉普拉斯金字塔（Laplacian Pyrami）的应用GANs 最重要的应用之一，是生成看起来‘自然’的图像，这要求对生成器的充分训练。以下是&Ian Goodfellow 等人的 2014 年论文中，生成器输出的样本：可以看出，生成器在生成数字和人脸图像方面做得不错。但是，使用 CIFAR-10 数据库生成的风景、动物图片十分模糊。这是 GANs 早期的主要局限之一。2015 年 6 月&Emily Denton 等人发表的研究《Deep Generative Image Models using Lapalacian Pyramid of Adversarial Networks》（“深度图像生成模型：在对抗网络应用拉普拉斯金字塔”）改变了这一点。研究人员提出，用一系列的卷积神经网络（CNN）连续生成清晰度不断提高的图像，能最终得到高分辨率图像。该模型被称为 LAPGANs 。其中的拉普拉斯金字塔，是指同一幅图像在不同分辨率下的一系列过滤图片。与此前 GAN 架构的区别是：传统的 GAN 只有一个 生成器&CNN，负责生成整幅图像；而在拉普拉斯金字塔结构中，金字塔的每一层（某特定分辨率），都有一个关联的 CNN。每一个 CNN 都会生成比上一层 CNN 更加清晰的图像输出，然后把该输出作为下一层的输入。这样连续对图片进行升采样，每一步图像的清晰度都有提升。拉普拉斯金字塔结构图像生成示意这产生了一个新概念：有条件生成对抗网络（conditional GAN，CGAN)，指的是它有多个输入：低分辨率图片和噪音矢量。该研究生成的高质量图片，在 40% 的情况下被真人裁判当做真实图像。对该研究的意义，李嫣然评论道：它将 GAN 的学习过程变成了“序列式” 的——不要让 GAN 一次学完全部的数据，而是让 GAN 一步步完成这个学习过程。3. 利用 GANs 把文字转化为图像把文字转化为图像，比起把图像转为文字（让 AI 用文字概括、描述图像）要难得多。一方面是近乎无限的像素排列方式；另一方面，目前没人知道如何把它分解，比如像（图像转为文字任务中）预测下一个词那样。2016 年 6 月，论文《Generative Adversarial Text to Image Synthesis》（“GANs 文字到图像的合成”）问世。它介绍了如何通过 GANs 进行从文字到图像的转化。比方说，若神经网络的输入是“粉色花瓣的花”，输出就会是一个包含了这些要素的图像。该任务包含两个部分：1. 利用自然语言处理来理解输入中的描述。2. 生成网络输出一个准确、自然的图像，对文字进行表达。为实现这些目标，生成器和判别器都使用了文字编码技术：通过循环文字编码器（recurrent text encoder）生成的文字属性，来作为条件对 GAN 进行训练（详情参考论文）。这使得 GAN 能够在输入的文字描述和输出图像之间建立相关性联系。原理示意该任务中，GAN 其实完成了两件任务：1.生成自然、说得过去的图像；2.图像必须与文字描述有相关性。利用 GAN, GAN-CLS, GAN-INT,GAN-INT-CLS 生成的结果示意。GT 是真实图像，从左到右三组图像的任务分别是：1.全黑色的鸟，粗圆的鸟嘴；2.黄胸、棕冠、黑眉的小鸟；3. 蓝冠、蓝羽、黑颊的超小鸟，嘴小、踝骨小、爪小。4. GANs 应用于超分辨率（Super Resolution）这是推特&Cortex 研究团队进行的一项研究，在今年 9 月发表。它的主要贡献是开发出全新的损失函数（loss function），使得 GANs 能对大幅降采样后的图像，恢复它的生动纹理和小颗粒细节。对于不熟悉超分辨率的雷锋网读者，它是一个能把低分辨率图像重建为高清图像的技术。在机器学习中，实现超分辨率需要用成对样本对系统进行训练：一个是原始高清图像，一个是降采样后的低分辨率图像。本研究中，低分图像被作为输入喂给生成器，它重建出高分辨率图像。然后，重建图片和原始图片被一起交给判别器，来判断哪一幅是原始图像。该研究中的损失函数可分为两个部分：对抗损失（adversarial loss&）和内容损失（content loss）。在较高层面上，对抗损失使图像看起来更自然；内容损失则保证重建图像与低分辨率原始图像有相似的特点。其中，对抗损失和传统的 GANs 应用类似，创新的是内容损失。该研究中的内容损失，可被看作为重建的高分辨率图像和原始高分图像之间特征图（feature map）的欧式距离（Euclidean distance）损失。而 GAN 的损失函数是对抗损失和内容损失的加权和。左栏是原始图像，右三栏是GANs重建的高分图像以上是 GANs
发展期间的主要里程碑。但读者们注意，2016 年以来，GANs 的研究应用层出不穷。以上只是最具代表性的几个，不代表其他 GANs 研究就没有价值。值得一说的是，今年 6 月一篇关于深度卷积 GANs （Deep Convolutional Generative Adversarial Networks， DCGAN）的论文在业内引发强烈反响：《Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks》（“使用深度卷积 GANs 进行无监督表征学习”）。研究人员们发现，用大规模数据库训练出的 GANs&能学习一整套层级的特征 （a hierarchy of features），并具有比其他无监督学习模型更好的效果。而此前使用 CNN 训练 GANs 的尝试大多以失败告终。当研究人员修改架构创造出 DCGAN，他们能够看到神经网络在每一层级学习到的过滤器&。Yan Lecun 评论道，这打开了 GANs 的“黑箱”。最后，我们来看看在大神 Yan Lecun 眼里，GANs 为什么这么重要：“它为创建无监督学习模型提供了强有力的算法框架，有望帮助我们为 AI 加入常识（common sense）。我们认为，沿着这条路走下去，有不小的成功机会能开发出更智慧的 AI 。”
Copyright & 2016内容字号：
段落设置：
字体设置：
生成对抗网络（GANs）为什么这么火？盘点它诞生以来的主要技术进
两年前，蒙特利尔大学 Ian Goodfellow 等学者提出&生成对抗网络&（Generative Adversarial Networks，GANs）的概念，并逐渐引起 AI 业内人士的注意。其实，直到 2015 年，生成对抗网络还称不上是炙手可热。但自今年（2016）以来，学界、业界对 GANs 的兴趣出现&井喷&：
多篇重磅论文陆续发表；
Facebook、Open AI 等 AI 业界巨头也加入对 GANs 的研究；
它成为今年 12 月 NIPS 大会当之无愧的明星&&在会议大纲中被提到逾 170 &次；
GANs之父& Ian Goodfellow 被公推为人工智能的顶级专家；
业内另一位大牛 Yan Lecun 也对它交口称赞，称其为& 20 年来机器学习领域最酷的想法& 。
现在，雷锋网 (公众号：雷锋网) 获得消息，就连苹果也跳上了 GANs 的彩车：苹果有史以来第一篇公开发表的 AI 论文，讲的是如何更好地利用 GANs，来训练 AI 图像识别能力。这是继苹果本月初在 NIPS 大会上宣布&将对外公布 AI 研究成果&之后，为兑现诺言做出的行动。
那么，GANs 是如何从一个原本&不温不火&的技术，成为今天人工智能的主要课题之一？
雷锋网对此进行了梳理，归纳了 GANs 从诞生到现在如何一步步走向技术成熟。以下是它发展路线中的大事件（主要研究进展）：
1. GANs 诞生
Ian Goodfellow
2014 年 6 月，Ian Goodfellow 等学者发表了论文《Generative Adversarial Nets》，题目即&生成对抗网络&，这标志着 GANs 的诞生。文中，Ian Goodfellow 等作者详细介绍了 GANs 的原理，它的优点，以及在图像生成方面的应用。
那么，什么是 GANs？
用 Ian Goodfellow 自己的话来说：
&生成对抗网络是一种生成模型（Generative Model），其背后基本思想是从训练库里获取很多训练样本，从而学习这些训练案例生成的概率分布。
而实现的方法，是让两个网络相互竞争，&玩一个游戏&。其中一个叫做生成器网络（ Generator Network），它不断捕捉训练库里真实图片的概率分布，将输入的随机噪声（Random Noise）转变成新的样本（也就是假数据）。另一个叫做判别器网络（Discriminator Network），它可以同时观察真实和假造的数据，判断这个数据到底是不是真的。&
对不熟悉 GANs 的读者，这番解释或许有些晦涩。因此，雷锋网特地找来 AI 博主 Adit Deshpande 的解释，更加清楚直白：
&GANs 的基本原理是它有两个模型：一个生成器，一个判别器。判别器的任务是判断给定图像是否看起来&自然&，换句话说，是否像是人为（机器）生成的。而生成器的任务是，顾名思义，生成看起来&自然&的图像，要求与原始数据分布尽可能一致。
GANs 的运作方式可被看作是两名玩家之间的零和游戏。原论文的类比是，生成器就像一支造假币的团伙，试图用假币蒙混过关。而判别器就像是警察，目标是检查出假币。生成器想要骗过判别器，判别器想要不上当。当两组模型不断训练，生成器不断生成新的结果进行尝试，它们的能力互相提高，直到生成器生成的人造样本看起来与原始样本没有区别。&
更多&什么是 GANs ？&的详细解说，请参考雷锋网整理的 Ian Goodfellow&&NIPS 大会 ppt 演讲，Yan Lecun 演讲，以及香港理工大学博士生李嫣然的 &GANs 最新进展&特约稿 。
早期的 GANs 模型有许多问题。Yan Lecun 指出，其中一项主要缺陷是：GANs 不稳定，有时候它永远不会开始学习，或者生成我们认为合格的输出。这需要之后的研究一步步解决。
2. &拉普拉斯金字塔（ Laplacian Pyrami ）的应用
GANs 最重要的应用之一，是生成看起来&自然&的图像，这要求对生成器的充分训练。以下是&Ian Goodfellow 等人的 2014 年论文中，生成器输出的样本：
可以看出，生成器在生成数字和人脸图像方面做得不错。但是，使用 CIFAR-10 数据库生成的风景、动物图片十分模糊。这是 GANs 早期的主要局限之一。
2015 年 6 月&Emily Denton 等人发表的研究《Deep Generative Image Models using Lapalacian Pyramid of Adversarial Networks》（&深度图像生成模型：在对抗网络应用拉普拉斯金字塔&）改变了这一点。研究人员提出，用一系列的卷积神经网络（CNN）连续生成清晰度不断提高的图像，能最终得到高分辨率图像。该模型被称为 LAPGANs 。
其中的拉普拉斯金字塔，是指同一幅图像在不同分辨率下的一系列过滤图片。 与此前 GAN 架构的区别是：传统的 GAN 只有一个 生成器&CNN，负责生成整幅图像；而在拉普拉斯金字塔结构中，金字塔的每一层（某特定分辨率），都有一个关联的 CNN。 每一个 CNN 都会生成比上一层 CNN 更加清晰的图像输出，然后把该输出作为下一层的输入。这样连续对图片进行升采样，每一步图像的清晰度都有提升。
拉普拉斯金字塔结构图像生成示意
这产生了一个新概念：有条件生成对抗网络（conditional GAN，CGAN)，指的是它有多个输入：低分辨率图片和噪音矢量。该研究生成的高质量图片，在 40% 的情况下被真人裁判当做真实图像。
对该研究的意义，李嫣然评论道：它将 GAN 的学习过程变成了&序列式& 的&&不要让 GAN 一次学完全部的数据，而是让 GAN 一步步完成这个学习过程。
3. 利用 GANs 把文字转化为图像
把文字转化为图像，比起把图像转为文字（让 AI 用文字概括、描述图像）要难得多。一方面是近乎无限的像素排列方式；另一方面，目前没人知道如何把它分解，比如像（图像转为文字任务中）预测下一个词那样。
2016 年 6 月，论文《Generative Adversarial Text to Image Synthesis》（&GANs 文字到图像的合成&）问世。它介绍了如何通过 GANs 进行从文字到图像的转化。比方说，若神经网络的输入是&粉色花瓣的花&，输出就会是一个包含了这些要素的图像。该任务包含两个部分：1. 利用自然语言处理来理解输入中的描述。2. 生成网络输出一个准确、自然的图像，对文字进行表达。
为实现这些目标，生成器和判别器都使用了文字编码技术：通过循环文字编码器（recurrent text encoder）生成的文字属性，来作为条件对 GAN 进行训练（详情参考 论文 ）。这使得 GAN 能够在输入的文字描述和输出图像之间建立相关性联系。
该任务中，GAN 其实完成了两件任务：1.生成自然、说得过去的图像；2.图像必须与文字描述有相关性。
利用 GAN, GAN-CLS, GAN-INT,GAN-INT-CLS 生成的结果示意。GT 是真实图像，从左到右三组图像的任务分别是：1.全黑色的鸟，粗圆的鸟嘴；2.黄胸、棕冠、黑眉的小鸟；3. 蓝冠、蓝羽、黑颊的超小鸟，嘴小、踝骨小、爪小。
4. GANs 应用于超分辨率（Super Resolution）
这是推特&Cortex 研究团队进行的一项研究，在今年 9 月发表。 它的主要贡献是开发出全新的损失函数（loss function），使得 GANs 能对大幅降采样后的图像，恢复它的生动纹理和小颗粒细节。
对于不熟悉超分辨率的雷锋网读者，它是一个能把低分辨率图像重建为高清图像的技术。在机器学习中，实现超分辨率需要用成对样本对系统进行训练：一个是原始高清图像，一个是降采样后的低分辨率图像。本研究中，低分图像被作为输入喂给生成器，它重建出高分辨率图像。然后，重建图片和原始图片被一起交给判别器，来判断哪一幅是原始图像。
该研究中的损失函数可分为两个部分：对抗损失（adversarial loss&）和内容损失（content loss）。在较高层面上，对抗损失使图像看起来更自然；内容损失则保证重建图像与低分辨率原始图像有相似的特点。其中，对抗损失和传统的 GANs 应用类似，创新的是内容损失。该研究中的内容损失，可被看作为重建的高分辨率图像和原始高分图像之间特征图（feature map）的欧式距离（Euclidean distance）损失。而 GAN 的损失函数是对抗损失和内容损失的加权和。对原文感兴趣的读者，请 点这里 。
左栏是原始图像，右三栏是 GANs 重建的高分图像。
以上是 GANs
发展期间的主要里程碑。但读者们注意，2016 年以来，GANs 的研究应用层出不穷。以上只是最具代表性的几个，不代表其他 GANs 研究就没有价值。
值得一说的是，今年 6 月一篇关于深度卷积 GANs （Deep Convolutional Generative Adversarial Networks， DCGAN）的论文在业内引发强烈反响：《Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks》（&使用深度卷积 GANs 进行无监督表征学习&）。研究人员们发现，用大规模数据库训练出的 GANs&能学习一整套层级的特征 （a hierarchy of features），并具有比其他无监督学习模型更好的效果。而此前使用 CNN 训练 GANs 的尝试大多以失败告终。当研究人员修改架构创造出 DCGAN，他们能够看到神经网络在每一层级学习到的过滤器&。Yan Lecun 评论道，这打开了 GANs 的&黑箱&。
最后，我们来看看在大神 Yan Lecun 眼里，GANs 为什么这么重要：
&它为创建无监督学习模型提供了强有力的算法框架，有望帮助我们为 AI 加入常识（common sense）。我们认为，沿着这条路走下去，有不小的成功机会能开发出更智慧的 AI 。&
分享给小伙伴们：
本类最热新闻
48小时最热
01020304050607089101112
CopyRight © 2015- , All Rights Reserved.