非金属矿产
工业润滑油
今日新增商品数
今日新增采购数
新《天津市住房公积金管理条例》10月施
联系电话：
通讯地址：兰考县产业集聚区未来大道中段路南神力吊车产业园
T50真的被俄军放弃？2025年将亮相
联系电话：
通讯地址：郑州市中牟刘集工业区
世乒赛之后张继科领衔三将或退役，刘国梁
联系电话：
通讯地址：郑州市经济技术开发区
非金属矿产
工业润滑油
时尚个性的美，来自于心底的自信，应该有
联系电话：
通讯地址：佛山顺德陈村镇陈村
柳如是：一代名妓为什么会嫁给结过婚的大
联系电话：
通讯地址：南阳市白河大道东段三川花园
美军为何青睐B-21战略轰炸机
联系电话：
通讯地址：郑州市大学路政通路交叉口升龙国际B区1号楼2014
33岁刘涛“双胞胎妹妹”曝光 感情竟比
联系电话：
通讯地址：深圳市宝安区
漯河一男子带着孩子做这事 没想到监控拍
联系电话：
通讯地址：北京市大兴区芦求路环宇美和物流园非金属矿产
工业润滑油
今日新增商品数
今日新增采购数
利得金融服务集团：史上最严的房产调控来
联系电话：
通讯地址：兰考县产业集聚区未来大道中段路南神力吊车产业园
保时捷帕纳梅拉4S科技引领时代潮流先峰
联系电话：
通讯地址：郑州市中牟刘集工业区
3600万学生受益营养改善计划
联系电话：
通讯地址：郑州市经济技术开发区
非金属矿产
工业润滑油
长款T恤时尚达人，百变模样
联系电话：
通讯地址：佛山顺德陈村镇陈村
空军将招35名女飞行学员 选拔范围扩大
联系电话：
通讯地址：南阳市白河大道东段三川花园
甜歌皇后杨钰莹终于要结婚啦！没想到新郎
联系电话：
通讯地址：郑州市大学路政通路交叉口升龙国际B区1号楼2014
阿联酋等国今日宣布与卡塔尔断交 外交部
联系电话：
通讯地址：深圳市宝安区
NBA第一中锋再度示好勇士！KD超詹皇
联系电话：
通讯地址：北京市大兴区芦求路环宇美和物流园选择男人看他的眼神，眼神不会骗人，
眼神坚定，代表男人有定力，
眼神漂浮不定，男人不可靠。
（图二）xiaoshuo388最具新意，最短小精悍，最出乎意料的故事尽在微小说。身体和灵魂总有一个要在路上，关注恋上微小说，每天为您奉献触动心灵的美文....
有品味男人喜欢运动，喜欢刺激，喜欢浪漫。
选择男人看他的酒品，喝多的时候最能体现一个男人的品质，
版权归原创者所有，如有侵权请及时联系！
恋上微小说
&&①长按二维码，选择“识别图中二维码”进行添加。&&&②复制微信号，点击“通讯录-添加朋友”进行添加。
（图三）shou267教你轻松打造完美气质身材，让我们一起做个让人羡慕的女子！瘦美人带你一起瘦瘦瘦！美美美！
选择男人看他的一些小事，与父母说话语气，
选择男人看他的兴趣爱好，
（图五）zwf252谁也无法阻挡一颗吃货的心！爱上美食，享受美味~教你做出一手好菜，变身厨房达人！跟家人一起分享才更美味~
妈妈育儿派
（图六）baike388爱生活，就要了解生活的窍门。从衣食住行，到购物玩乐，让最懂生活的实用小百科伴你幸福生活每一天~
脾气暴躁，情绪不稳定的男人，
好男人自强不息。
选择男人最重要的是他是不是真正爱你，
教你变瘦美人
跟我学做点家常菜
选择男人看他的朋友，
近朱者赤近墨者黑，受身边环境熏陶，
，这样男人大男子主义强，自以为是。
与服务员说话语气，与别人交谈语气，
请分.享、传发给你的朋友看
（图九）mmj362妈妈身边的私人育儿顾问。关注孩子健康、家庭教育、育儿辅食、安全知识、成长兴趣、亲子活动等中国妈妈最关心的问题。来吧妈妈，你想要的育儿知识这里都有！
&回复【亲爱的】每天一句心情话说与你听
（图一十）tks666888女人的衣柜永远少一件衣服，但在这里你可以轻易找到！一个女人过得好不好，从她穿的衣服就能看出来~
一个整天打游戏的男人不会浪漫，没有情调，
（图一十一）
好男人喝多了尽量控制自己，不失言语。
如果你觉得这篇文章有用
（图一十二）yinyue388我有音乐和故事，你愿不愿意停下来听一听。拥有一种好音乐，就拥有一种好心情！我们每天不见不散。
（图一十三）
容易失去控制力，和他在一起不安全。
一部分男人喝多了打架，骂人，嗷嗷乱喊
好的男人有一群积极向上的朋友，
对朋友是否大气，是否有爱心等等。
★添加方法★
（图一十四）&nrb388有一种女人总能给人如沐春风的感觉,不浮不躁,不卑不亢,散发出一种淡淡的优雅。加入女人帮，让你做一个内外兼修的女人！
会不会主动给你惊喜。
实用小百科
看他的脾气，好脾气的男人会疼女人，
他会不会主动联系你，会不会记得你重要的日子，
（图一十五）zsyd365最走心的两性心理漫画,最好玩的污污污小段子~分分钟让你脸红心跳，一定要来看哦！如何关注① 长按二维码，选择“识别图中二维码”进行关注。
②&长按复制“ID”，在“添加朋友”中粘贴搜索号码关注。
看过本文的人还看过
人气：0 更新：
人气：0 更新：
人气：0 更新：
人气：0 更新：
魔鬼心理学的更多文章
大家在看 ^+^
推荐阅读 ^o^
猜你喜欢 ^_^
24小时热门文章
微信扫一扫
分享到朋友圈非金属矿产
工业润滑油
今日新增商品数
今日新增采购数
细数胡歌那些令小鲜肉们都汗颜的时尚代言！
联系电话：
通讯地址：兰考县产业集聚区未来大道中段路南神力吊车产业园
它为华为、三星生产过电池，如今能否借助
联系电话：
通讯地址：郑州市中牟刘集工业区
俄罗斯卷入美国大选？普京霸气反击令世界
联系电话：
通讯地址：郑州市经济技术开发区
非金属矿产
工业润滑油
继南通、启东后，海门也出手了！15条“
联系电话：
通讯地址：佛山顺德陈村镇陈村
首个核弹提前引爆！科米公布证词 日元和
联系电话：
通讯地址：南阳市白河大道东段三川花园
面膜打开直接敷到脸上？你错了，这样做让
联系电话：
通讯地址：郑州市大学路政通路交叉口升龙国际B区1号楼2014
三岁女童模仿各国女强人走红 太萌！
联系电话：
通讯地址：深圳市宝安区
济宁一中举行高三年级毕业典礼 再见，我
联系电话：
通讯地址：北京市大兴区芦求路环宇美和物流园苹果/安卓/wp
积分 354, 距离下一级还需 96 积分
权限: 自定义头衔, 签名中使用图片
道具: 彩虹炫, 涂鸦板, 雷达卡, 热点灯, 金钱卡, 显身卡, 匿名卡下一级可获得
道具: 抢沙发
购买后可立即获得
权限: 隐身
道具: 金钱卡, 彩虹炫, 雷达卡, 热点灯, 涂鸦板
开心签到天数: 24 天连续签到: 1 天[LV.4]偶尔看看III
看穿机器学习（W-GAN模型）的黑箱转载：http://mp./s/5gyZqxhdvtH-zIxKini2TQ
顾险峰 CreateAMind
图a. Principle of GAN.
前两天纽约暴雪，天地一片苍茫。今天元宵节，长岛依然清冷寂寥，正月十五闹花灯的喧嚣热闹已成为悠远的回忆。这学期，老顾在讲授一门研究生水平的数字几何课程，目前讲到了2016年和丘成桐先生、罗锋教授共同完成的一个几何定理【3】，这个工作给出了经典亚历山大定理（Alexandrov Theorem）的构造性证明，也给出了最优传输理论（Optimal Mass Transportation）的一个几何解释。这几天，机器学习领域的Wasserstein GAN突然变得火热，其中关键的概念可以完全用我们的理论来给出几何解释，这允许我们在一定程度上亲眼“看穿”传统机器学习中的“黑箱”。下面是老顾下周一授课的讲稿。
生成对抗网络 GAN训练模型 生成对抗网络GAN （Generative Adversarial Networks）是一个“自相矛盾”的系统，就是以己之矛克以己之盾，在矛盾中发展，使得矛更加锋利，盾更加强韧。这里的矛被称为是判别器（Descriminator），这里的盾被称为是生成器（Generator）。
图b. Generative Model.
生成器G一般是将一个随机变量（例如高斯分布，或者均匀分布），通过参数化的概率生成模型（通常是用一个深度神经网来进行参数化），进行概率分布的逆变换采样，从而得到一个生成的概率分布。判别器D也通常采用深度卷积神经网。图1. GAN的算法流程图。
矛盾的交锋过程如下：给定真实的数据，其内部的统计规律表示为概率分布，我们的目的就是能够找出。为此，我们制作了一个随机变量生成器G，G能够产生随机变量，其概率分布是，我们希望尽量接近。为了区分真实概率分布和生成概率分布，我们又制作了一个判别器D，给定一个样本，D来复制判别这个样本是来自真实数据还是来自伪造数据。Goodfellow给GAN中的判别器设计了如下的损失函数（lost function）， 尽可能将真实样本判为正例，生成样本判为负例：。
第一项不依赖于生成器G, 此式也可以定义GAN中的生成器的损失函数。
在训练中，判别器D和生成器G交替学习，最终达到纳什均衡（零和游戏），判别器无法区分真实样本和生成样本。
优点 GAN具有非常重要的优越性。当真实数据的概率分布不可计算的时候，传统依赖于数据内在解释的生成模型无法直接应用。但是GAN依然可以使用，这是因为GAN引入了内部对抗的训练机制，能够逼近一下难以计算的概率分布。更为重要的，Yann LeCun一直积极倡导GAN，因为GAN为无监督学习提供了一个强有力的算法框架，而无监督学习被广泛认为是通往人工智能重要的一环。
缺点 原始GAN形式具有致命缺陷：判别器越好，生成器的梯度消失越严重。我们固定生成器G来优化判别器D。考察任意一个样本，其对判别器损失函数的贡献是
两边对求导，得到最优判别器函数
代入生成器损失函数，我们得到所谓的Jensen-Shannon散度（JS）。
在这种情况下（判别器最优），如果的支撑集合（support）交集为零测度，则生成器的损失函数恒为0，梯度消失。
改进 本质上，JS散度给出了概率分布之间的差异程度，亦即概率分布间的度量。我们可以用其他的度量来替换JS散度。Wasserstein距离就是一个好的选择，因为即便的支撑集合（support）交集为零测度，它们之间的Wasserstein距离依然非零。这样，我们就得到了Wasserstein GAN的模式【1】【2】。Wasserstein距离的好处在于即便两个分布之间没有重叠，Wasserstein距离依然能够度量它们的远近。
为此，我们引入最优传输的几何理论（Optimal Mass Transportation），这个理论可视化了W-GAN的关键概念，例如概率分布，概率生成模型（生成器），Wasserstein距离。更为重要的，这套理论中，所有的概念，原理都是透明的。例如，对于概率生成模型，理论上我们可以用最优传输的框架取代深度神经网络来构造生成器，从而使得黑箱透明。最优传输理论梗概给定欧氏空间中的一个区域，上面定义有两个概率测度和，满足,我们寻找一个区域到自身的同胚映射（diffeomorphism），, 满足两个条件：保持测度和极小化传输代价。
保持测度 对于一切波莱尔集,换句话说映射T将概率分布映射成了概率分布，记成 。直观上，自映射，带来体积元的变化，因此改变了概率分布。我们用和来表示概率密度函数，用来表示映射的雅克比矩阵（Jacobian matrix），那么保持测度的微分方程应该是：,，这被称为是雅克比方程（Jacobian Equation）。
最优传输映射 自映射的传输代价（Transportation Cost）定义为。在所有保持测度的自映射中，传输代价最小者被称为是最优传输映射（Optimal Mass Transportation Map），亦即：,
最优传输映射的传输代价被称为是概率测度和概率测度之间的Wasserstein距离，记为。
在这种情形下，Brenier证明存在一个凸函数，其梯度映射
就是唯一的最优传输映射。这个凸函数被称为是Brenier势能函数（Brenier potential）。
由Jacobian方程，我们得到Brenier势满足蒙日-安培方程，梯度映射的雅克比矩阵是Brenier势能函数的海森矩阵（Hessian Matrix），。蒙日-安培方程解的存在性、唯一性等价于经典的凸几何中的亚历山大定理（Alexandrov Theorem）。
图2. 亚历山大定理。
亚历山大定理&&如图2所示，给定平面凸区域，考察一个开放的凸多面体，选定一个面，的法向量记为，的投影和相交的面积记为，则总投影面积满足，凸多面体可以被确定。亚历山大定理对任意维凸多面体都成立。
后面，我们可以看到，这个凸多面体就是Brenier势能函数，其梯度映射将一个概率分布映到另外一个概率分布，并且这两个概率分布之间的Wasserstein 距离对偶于此凸多面体决定的体积。理论上，这个凸多面体可以作为W-GAN模型中的生成器G。
支持楼主：、
购买后，论坛将把您花费的资金全部奖励给楼主，以表示您对TA发好贴的支持
载入中......
continue...
W-GAN中关键概念可视化Wasserstein-GAN模型中，关键的概念包括概率分布（概率测度），概率测度间的最优传输映射（生成器），概率测度间的Wasserstein距离。下面，我们详细解释每个概念所对应的构造方法，和相应的几何意义。
概率分布 GAN模型中有两个至关重要的概率分布（probability measure），一个是真实数据的概率分布，一个是生成数据的概率分布。另外，生成器的输入随机变量，满足标准概率分布（高斯、均匀分布）。& & 图3. 由保角变换（conformal mapping）诱导的圆盘上概率测度。
概率测度可以看成是一种推广的面积（或者体积）。我们可以用几何变换随意构造一个概率测度。如图3所示，我们用三维扫描仪获取一张人脸曲面，那么人脸曲面上的面积就是一个概率测度。我们缩放变换人脸曲面，使得总曲面等于。然后，我们用保角变换将人脸曲面映射到平面圆盘。如图3所示，保角变换将人脸曲面上的无穷小圆映到平面上的无穷小圆，但是，小圆的面积发生了变化。每对小圆的面积比率定义了平面圆盘上的概率密度函数。
我们可以将以上的描述严格化。人脸曲面记为，其上具有黎曼度量。平面圆盘记为，平面坐标为，平面的欧氏度量为。保角映射记为，则，这里面积变换率函数给出了概率密度函数。诱导了圆盘上的一个概率测度。
图4. 两个概率测度之间的最优传输映射。
最优传输映射 圆盘上本来有均匀分布，又有保角变换诱导的概率分布，则存在唯一的最优传输映射。图4显示了这个映射，中间帧到右帧的映射就是最优传输映射。我们看到，鼻尖周围的区域被压缩，概率密度提高。
图5. 离散最优传输。
离散最优传输映射 最优传输映射的数值计算非常几何化，因此可以直接被可视化。我们将目标概率测度离散化，表示成一族离散点，；每点被赋予一个狄拉克测度，，满足。然后，我们求得单位圆盘的一个胞腔分解，，每个胞腔映到相应的目标点，。映射保持概率测度，胞腔的面积等于目标测度，,同时极小化传输代价，。
图6. 离散Brenier势能函数，离散最优传输映射。
离散Brenier势能 离散最优传输映射是离散Brenier势能函数的梯度映射。对于每一个目标离散点，我们构造一个平面 ，这里平面的截距是未知变量。这些平面的上包络（upper envelope）构成一个开放的凸多面体，恰为离散Brenier势能函数的图（Graph）,。
图6左侧显示了离散Briener势能函数。凸多面体在平面上的投影构成了平面的胞腔分解，凸多面体的每个面被映成了一个胞腔；每个面的梯度都是，因此Brenier势能函数的梯度映射就是。
根据保测度性质，每个胞腔的面积应该等于指定面积。由此，我们调节平面的截距以满足这个限制。根据亚历山大定理，这种截距存在，并且本质上唯一。
离散Wasserstein距离 我们和丘成桐先生建立了变分法来求取平面的截距。给定截距向量，平面族为，其上包络构成的Briener势能函数为 , 上包络的投影生成了平面的胞腔分解, 胞腔的面积记为。我们定义的能量为，,这个能量在子空间 上是严格凹的，其唯一的全局最大点就给出了满足保测度条件的截距。这个能量的非线性项，实际上是上包络截出的柱体体积，
，图7给出了柱体体积的可视化，柱体体积是凸函数。
图7. 离散Brenier势能函数的图截出的柱体体积。
体积函数和Wasserstein距离之间相差一个勒让德变换（Legendre Transformation）。勒让德变换非常几何化，我们可以将其可视化。给定一个定义在实数轴上的二阶光滑凸函数，其图是一条凸曲线，这条凸曲线由其所有的切线包络而成。如果，在任意一点，函数的切线的斜率为y，则此切线的截距满足，这被称为是函数的勒让德变换。以切线的斜率为参数，以切线的截距为函数值。
图8.凸函数的图像由其切线包络而成，切线集合被表示成原函数的勒让德对偶。
因为的凸性，映射是微分同胚，记为。那么，原函数和勒让德变换后的函数满足关系：,这里c,d是常数。原函数和其勒让德变换的直观图解由图9给出。我们在xy-平面上画出曲线，曲线下面的面积是，曲线上面的面积是勒让德变换。
图9. 图解勒让德变换。
勒让德变换的几何图景对任意维都对。我们下面来考察体积函数的勒让德变换。根据定义，,假如我们变动截距，或者等价地变动胞腔面积，考察两个胞腔交界处，,
p本来属于，变化后属于，所有这种点的总面积为。则为Wasserstein距离带来的变化是：因此，总的Wasserstein距离的变化是。由此我们看到Wasserstein距离等于，其非线性部分是柱体积的勒让德变换。
通过以上讨论，我们看到给定两个概率分布This is the rendered form of the equation. You can not edit this directly. Right click will give you the option to save the image, and in most browsers you can drag the image onto your desktop or another program.，则存在唯一的一个凸函数（Brenier 势函数）This is the rendered form of the equation. You can not edit this directly. Right click will give you the option to save the image, and in most browsers you can drag the image onto your desktop or another program.，其梯度映射This is the rendered form of the equation. You can not edit this directly. Right click will give you the option to save the image, and in most browsers you can drag the image onto your desktop or another program.把一个概率分布This is the rendered form of the equation. You can not edit this directly. Right click will give you the option to save the image, and in most browsers you can drag the image onto your desktop or another program.映成了另外一个概率分布。这个最优传输映射的传输代价就给出了两个概率分布之间的Wasserstein距离。Brenier势能函数，Wasserstein距离都有明晰的几何解释。
在Wasserstein-GAN模型中，通常生成器和判别器是用深度神经网络来实现的。根据最优传输理论，我们可以用Briener势函数来代替深度神经网络这个黑箱，从而使得整个系统变得透明。在另一层面上，深度神经网络本质上是在训练概率分布间的传输映射，因此有可能隐含地在学习最优传输映射，或者等价地Brenier势能函数。对这些问题的深入了解，将有助于我们看穿黑箱。
图10. 基于二维最优传输映射计算的曲面保面积参数化（area preserving parameterization），苏政宇作。
图11. 基于三维最优传输映射计算的保体积参数化 （volume preserving parameterization），苏科华作。
（在2016年，老顾撰写了多篇有关最优传输映射的博文，非常欣慰地看到这些文章启发了一些有心的学者，发表了SIGGRAPH论文，申请了NSF基金。感谢大家关注老顾谈几何，希望继续给大家灵感。）
[1]Arjovsky, M. & Bottou, L.eon (2017) Towards Principled Methods for Training Generative Adversarial Networks
[2] Arjovsky, M., Soumith, C. & Bottou, L.eon (2017) Wasserstein GAN.
[3] Xianfeng Gu, Feng Luo, Jian Sun and Shing-Tung Yau, Variational Principles forMinkowski Type Problems, Discrete Optimal Transport, and Discrete Monge-Ampere
Equations, Vol. 20, No. 2, pp. 383-398, Asian Journal of Mathematics (AJM), April 2016.
微信图片全都显示失败啦，可以截图完善一下。
无限扩大经管职场人脉圈！每天抽选10位免费名额，现在就扫& 论坛VIP& 贵宾会员& 可免费加入
&nbsp&nbsp|
&nbsp&nbsp|
&nbsp&nbsp|
&nbsp&nbsp|
&nbsp&nbsp|
&nbsp&nbsp|
如有投资本站或合作意向，请联系（010-）；
邮箱：service@pinggu.org
投诉或不良信息处理：（010-）
京ICP证090565号
论坛法律顾问：王进律师