自适应集成极限学习机在故障诊断中的应用_尹刚_百度文库
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
评价文档：
&&¥80.00
&&¥80.00
&&¥3.00
&&¥3.00
&&¥3.00
&&¥3.00
&&¥3.00
&&¥2.00
自适应集成极限学习机在故障诊断中的应用_尹刚
为​了​改​善​在​线​贯​序​极​限​学​习​机​的​分​类​效​果​ ​,​ ​进​一​ ​步​ ​提​ ​高​ ​算​ ​法​ ​在​ ​小​ ​样​ ​本​ ​数​ ​据​ ​下​ ​的​ ​稳​ ​定​ ​性​ ​和​ ​泛​ ​化​ ​性​ ​,​ ​设​ ​计​ ​自​ ​适​
​
​应​网​络​集​成​机​制​ ​,​ ​提​出​极​限​学​习​机​改​进​算​法​ ​。​ ​该​算​法​借​鉴​l​e​a​r​n​+​+​ ​集​成​思​想​ ​,​ ​通​过​计​算​增​量​学​习​时​的​分​类​ ​准​ ​确​ ​率​
​
​和​隐​层​网​络​输​出​权​值​范​数​ ​,​ ​在​线​调​整​集​成​输​出​中​子​网​络​的​投​票​权​值​以​及​网​络​ ​输​入​权​值​和​节​点​偏​置​ ​。
阅读已结束，如果下载本文需要使用
想免费下载本文？
把文档贴到Blog、BBS或个人站等：
普通尺寸(450*500pix)
较大尺寸(630*500pix)
你可能喜欢论战Yann LeCun：谁能解释极限学习机（ELM）牛X在哪里？
发表于 06:48|
来源个人博客|
作者Yann LeCun、黄广斌、David_Wang2015
摘要：ELM算法执行过程中不必调整网络的输入权值以及隐元的偏置，学习速度快且泛化性能好，Yann LeCun质疑ELM存在命名、方法论方面存在问题，ELM发明者则认为，ELM和深度学习是相辅相成的，并且ELM可以填补CNN的理论空白。
【编者按】被认为学习速度快、泛化性能好的，在国内颇有市场，但大神Yann LeCun近日质疑ELM存在命名、方法论等方面存在很多问题，不如采用SVM或者RBF，随即有人反驳称ELM理论上与一般的前馈神经网不分伯仲，ELM的发明者则认为，ELM和深度学习是相辅相成的，有些应用将两者结合收到很好的结果，并且ELM可以填补CNN的理论空白。现在双方观点整理如下，供读者参考。南洋理工大学黄广斌副教授（）在2004年提出的Extreme Learning Machine（ELM，极限学习机），是一种单隐层前馈神经网络（SLFN）学习算法。这种算法只需要设置网络的隐层节点个数，执行过程中不需要调整网络的输入权值以及隐元的偏置，并且产生唯一的最优解，因而学习速度快且泛化性能好。然而，Facebook人工智能实验室负责人、纽约大学教授Yann LeCun近日在Facebook上对ELM提出了质疑，认为ELM存在命名、方法论等方面存在很多问题，有一定的优点但不如首先采用SVM（支持向量机）或者RBF，也难以应对ImageNet 或语音识别这样的复杂任务。Yann LeCun认为：首先，ELM和早前出现的Gamba Perceptron、Rosenblatt perceptron看来有极深的渊源。其次，随机连接第一层的方法几乎是最傻的事情，基本上可谓否定近60年的努力的开倒车的行为（Perceptron已可解决线性不可分问题）。他表示，随机初始化输入权重和偏置，做好了也只能对简单函数和小型标记数据集有效，还不如采用SVM或者RBF。First, the name: an ELM is *exactly* what Minsky & Papert call a Gamba Perceptron (a Perceptron whose first layer is a bunch of linear threshold units). The original 1958 Rosenblatt perceptron was an ELM in that the first layer was randomly connected.Second, the method: connecting the first layer randomly is just about the stupidest thing you could do. People have spent the almost 60 years since the Perceptron to come up with better schemes to non-linearly expand the dimension of an input vector so as to make the data more separable (many of which are documented in the 1974 edition of Duda & Hart).&Yann LeCun的观点获得了200多个赞和大量的回复。一些回复表示看好ELM的速度，然而Yann LeCun反驳：ELM的运行必然慢于RBF网络，后者第一层采用K均值或者GMM甚至神经网络来训练，所有的这些模型优化了一层单元的数量和位置，从而可以消除一些数据量的影响。传统的SVM用于大型数据集缓慢，人们都有很多建议方法绕过该问题。如果指的是训练速度，只要训练时间不是太离谱，则无人在意。They have to be slower to run than an RBF net in which the first layer is trained with K-means or GMM, or even neural nets, since all of these models optimize the number and placement of layer-1 units, and can therefore get away with a small number of them. Regular SVMs get slow with very large datasets, but people have suggested ways to get around that. Perhaps they are talking about training speed, but no one is really interested in that, as long as the training time is not outrageous.对于一封发给IEEE SMC的匿名邮件《》（其中列举多项条款指责ELM涉嫌存在学术问题），Yann LeCun甚至称，“ELM is officially a fraud”。在国内，微博网友发表博文《》，赞同ELM的工程意义，作为对Yann LeCun的回应。@David_Wang2015认为：目前的单隐层ELM在函数逼近论和统计学习理论意义下的收敛结果已经有证明，理论上与一般的前馈神经网不分伯仲。不过，前馈神经网适合工程应用的函数模型还得靠工程师的理解和洞察，ELM如果要在各种应用中更上一层，合理的结构设计和隐节点的生成方式的研究是必不可少的。一些圈内人士评论认为，尽管ELM思想上工程上确有意义，但后文从哲学方法层面回应，未能落到实处，仍然无法回答Yann LeCun的质疑。@David_Wang2015在此之后解释：这篇文章主要是介绍一下ELM的主要思想，说明ELM为什么在某些应用中可以又快又work，解决一些关于ELM的疑惑。彻底回答LeCun的质疑还得需要更深入的理论和工程的研究，在知名数据集和工程应用上刷刷performance。作为ELM的发明者，黄广斌亦提出了自己的观点：ELM和深度学习是相辅相成的，如可将CNN用于特征提取，ELM用于做分类器，此外ELM还可以填补CNN的理论空白。ELM的发展也是从不信到怀疑，到似曾相识，到大彻大悟的过程。ELM和深度学习是相辅相成的，有些应用将两者结合收到很好的结果，比如将CNN用于特征提取，ELM用于做分类器。其实从长远角度看，更多的是ELM和Deep Learning的交融汇合（Convergence）。另一方面Convolution Neural Network （CNN）虽然有生物学上的相关意义，数学理论上的证明还不多，ELM理论正好填补这个空白，并且推向更广泛的Local Receptive Fiekds概念。黄广斌表示，神经网络的发展是曲折前进的历史，如多层感知器(Perceptron)、Back-Propagation（BP）算法、SVM甚至深度学习，都曾经历了不被理解的过程——理解和认识有时需要一个漫长的过程。真理越辩越明。对于这个问题，您有更详细的见解吗？请在评论中留下您的观点，也欢迎您给CSDN投稿分享和交流。投稿邮箱：。原文链接：& via&Yann LeCun&via&@David_Wang2015 via&黄广斌延伸阅读（来自 和 &的评论）：知乎上的讨论：国外总结：黄广斌微博：网上热议Yann LeCun:"What's so great about 'Extreme Learning Machines'?"其实LeCun的问题正常，ELM从诞生之初就有许多人不解。他的问题答案可以见文章“”（责编/周建丁）第七届中国云计算大会将于6月3日-5日在北京国家会议中心举办。目前主会演讲嘉宾名单和议题方向已经公布，众多中国科学院/中国工程院院士、BAT云技术领军人、三大运营商云计算负责人、中国银联执行副总裁、青云联合创始人等嘉宾届时都将带来精彩演讲。欢迎大家访问，了解更多详情。
推荐阅读相关主题：
CSDN官方微信
扫描二维码,向CSDN吐槽
微信号：CSDNnews
相关热门文章:<font color="#40-1145&&&&DOI:
自动化技术、计算机技术
极限学习机的快速留一交叉验证算法
刘学艺a，李平a,b，郜传厚c
（浙江大学 a.航空航天学院； b.工业控制研究所； c.数学系，杭州 310027）
Fast Leave-One-Out Cross-Validation Algorithm for Extreme Learning Machine
&LIU& Xue-Yi-a, LI& Ping-a, b , GAO& Chuan-Hou-c
(a. School of Aeronautics and A b. Institute of Industrial Process Cc. Department of Mathematics, Zhejiang University, Hangzhou 310027, China)
摘要&针对回归和分类问题，提出一种极限学习机(Extreme Learning Machine, ELM)的快速留一交叉验证算法，并从理论和数值仿真两方面说明其有效性.结果表明，该算法避免了以训练样本数量N次的ELM模型的显式训练，其计算复杂度与N仅呈线性趋势增长，即O(N).即使在处理大型数据集建模问题时，该算法仍然可以快速地进行ELM模型的选择和评价.通过人工和实际数据集上的仿真实验，验证了该快速留一交叉验证算法的有效性.
<INPUT type=hidden value="我在《上海交通大学学报（自然版）》上发现了关于“极限学习机； 留一法； 交叉验证； 计算复杂性”几篇好文章，特向您推荐。请点击下面的网址：" name=neirong>
作者相关文章
Abstract：
&Leave?one?out cross?validation has proved to be near capable of giving the unbiased estimation of the generalization performance of statistical models, and thus can provide a reliable criterion for model selection and comparison. For this reason, the current paper presented a fast leave?one?out cross?validation algorithm in the framework of extreme learning machines (ELMs) with respect to both regression and classification problems, which can avoid training explicitly and just has the complexity of O(N) for a data set with N points. The validity of the algorithm is also strictly proved. The simulations conducted on the artificial and real?world problems show the effectiveness and efficiency of the proposed algorithm.
Keywords：
收稿日期: ;
基金资助:国家高技术研究发展计划(863)项目()，国家自然科学基金资助项目(，)
引用本文: &&
. 极限学习机的快速留一交叉验证算法[J].&上海交通大学学报（自然版）, ):
. Fast Leave-One-Out Cross-Validation Algorithm for Extreme Learning Machine[J]. Journal of shanghai Jiaotong University (Science), ): .
链接本文: &
&&&&&或 &&&&
Xu J X, Hou Z S. Notes on data?driven system approaches[J]. Acta Automatics Sinica, ): 668?675.
许开州，胡德金，魏臣隽. 基于正交试验和Vogl快速BP网络的球面磨削工艺优化方法[J]. 上海交通大学学报，）：.
XU Kai?zhou, HU De?jin, WEI Chen?jun. Vogl fast BP network and orthogonal experiment method in optimization of sphere grinding process parameters[J]. Journal of Shanghai Jiaotong University, ): .
Huang G B, Zhu Q Y, Siew C K. Extreme learning machine: Theory and applications[J]. Neurocomputing, 9?501.
Zhang R, Huang G B, Sundararajan N, et al. Multi?category classification using extreme learning machine for microarray gene expression cancer diagnosis[J]. IEEE/ACM Transactions on Computational Biology and Bioinformatics, ): 185?495.
Miche Y, Sorjamaa A, Bas P, et al. OP?ELM: Optimally pruned extreme learning machine[J]. IEEE Transactions on Neural Networks,):159?162.
Kim J, Shin H S, Shin K, et al. Robust algorithm for arrhythmia classification in ECG using extreme learning machine[J]. BioMedical Engineering Online, ?12.
邓万宇，郑庆华，陈琳，等. 神经网络极速学习方法研究[J]. 计算机学报，）：279?287.
DENG Wan?yu, ZHENG Qing?hua, CHEN Lin, et al. Research on extreme learning of neural networks[J]. Chinese Journal of Computers, ): 279?287.
Opper M, Winter O. Gaussian processes and SVM: Mean field and leave?one out[C]//Advances in Large Margin Classifers. Cambridge: MIT Press, 6.
Zhao Y, Kwoh C K. Fast leave?one?out evaluation and improvement on inference for LS?SVMs[C]//Proceedings of the 17th International Conference on Pattern Recognition. Cambridge: IEEE CS, 7.
Cawley G, Talbot N. Fast exact leave?one?out cross?validation of sparse least?squares support vector machines[J]. Neural Networks, ): .
Cawley G C, Talbot N L C. Efficient leave?one?out cross?validation of kernel fisher discriminant classifiers[J]. Pattern Recognition, ): .
没有找到本文相关文献
Copyright 2010 by 上海交通大学学报（自然版）极限学习机_百度文库
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
评价文档：
&&¥80.00
&&¥3.00
&&¥3.00
&&¥3.00
&&¥2.00
&&¥3.00
&&¥2.00
&&¥2.00
极限学习机
阅读已结束，如果下载本文需要使用
想免费下载本文？
把文档贴到Blog、BBS或个人站等：
普通尺寸(450*500pix)
较大尺寸(630*500pix)
你可能喜欢基于极限学习机的股票价格预测--《计算机与现代化》2014年12期
基于极限学习机的股票价格预测
【摘要】：极限学习机(Extreme Learning Machine,ELM)是一种新型的单馈层神经网络算法,克服了传统的误差反向传播方法需要多次迭代,算法的计算量和搜索空间大的缺点,只需要设置合适的隐含层节点个数,为输入权和隐含层偏差进行随机赋值,一次完成无需迭代。研究表明股票市场是一个非常复杂的非线性系统,需要用到人工智能理论、统计学理论和经济学理论。本文将极限学习机方法引入股票价格预测中,通过对比支持向量机(Support Vector Machine,SVM)和误差反传神经网络(Back Propagation Neural Network,BP神经网络),分析极限学习机在股票价格预测中的可行性和优势。结果表明极限学习机预测精度高,并且在参数选择及训练速度上具有较明显的优势。
【作者单位】：
【关键词】：
【分类号】：F832.51;TP18【正文快照】：
0引言大量研究表明,股票市场[1-2]的高噪声、非线性、影响因素复杂、大量人为因素参与等特性使得传统的神经网络预测精度不高。长久以来,专家和业内人士都希望找到一种更为切实有效的股票价格预测方法来提供科学依据,降低金融风险。由于股票市场的特性,导致股票价格受多方面因
欢迎：、、)
支持CAJ、PDF文件格式，仅支持PDF格式
【参考文献】
中国期刊全文数据库
崔明建;孙元章;柯德平;;[J];电力系统自动化;2014年12期
崔伟东,周志华,李星;[J];计算机工程与应用;2001年01期
许建华,张学工,李衍达;[J];控制与决策;2004年05期
张敏;曾新苗;马长春;;[J];计算机工程与应用;2014年11期
陈泽志,吴成柯,刘勇;[J];软件学报;2001年03期
柳小桐;;[J];机械工程与自动化;2010年03期
韩伯棠;张向东;;[J];统计与决策;2008年15期
张晨希;张燕平;张迎春;陈洁;万忠;;[J];计算机技术与发展;2006年06期
高光勇;蒋国平;;[J];物理学报;2012年04期
李诗林,李扬;[J];管理评论;2003年06期
【共引文献】
中国期刊全文数据库
苏发慧;;[J];安徽建筑工业学院学报(自然科学版);2009年02期
宰松梅;贾艳辉;丁铁山;温季;郭冬冬;;[J];安徽农业科学;2010年01期
杨波;郑颖人;唐晓松;李安洪;;[J];地下空间与工程学报;2010年02期
唐晓松;郑颖人;段永胜;李安洪;;[J];地下空间与工程学报;2010年02期
罗婷婷;范太华;;[J];兵工自动化;2007年10期
戴洪德;陈明;周绍磊;李娟;;[J];传感技术学报;2007年07期
谭琨;杜培军;郑辉;;[J];测绘科学;2007年02期
王小美;逄云峰;杜培军;谭琨;李光丽;;[J];测绘科学;2011年02期
刘洋;程礼;范家栋;;[J];长沙航空职业技术学院学报;2007年04期
周云龙;顾杨杨;;[J];东北电力大学学报;2012年01期
中国重要会议论文全文数据库
宋海鹰;桂卫华;阳春华;;[A];第二十六届中国控制会议论文集[C];2007年
吴静珠;刘翠玲;孙晓容;;[A];第二十九届中国控制会议论文集[C];2010年
袁从贵;张新政;陈旭;;[A];中国自动化学会控制理论专业委员会C卷[C];2011年
;[A];Proceedings of the 2011 Chinese Control and Decision Conference（CCDC）[C];2011年
李军;张云起;;[A];中国企业运筹学[C];2009年
李优;;[A];第八届中国青年运筹信息管理学者大会论文集[C];2006年
董泽;纪国瑞;王东风;韩璞;徐大平;;[A];全国第二届信号处理与应用学术会议专刊[C];2008年
董泽;纪国瑞;王东风;韩璞;徐大平;;[A];全国第二届信号处理与应用学术会议专刊[C];2008年
华顺刚;刘婷;欧宗瑛;;[A];中国图学新进展2007——第一届中国图学大会暨第十届华东六省一市工程图学学术年会论文集[C];2007年
周小平;晏蒲柳;;[A];第九届全国青年通信学术会议论文集[C];2004年
中国博士学位论文全文数据库
杨波;[D];山东中医药大学;2010年
汪春梅;[D];华东理工大学;2011年
王冬丽;[D];东华大学;2011年
王辉;[D];吉林大学;2011年
叶洪涛;[D];华南理工大学;2011年
高翔;[D];中国海洋大学;2011年
孟大鹏;[D];哈尔滨工业大学;2011年
杨华;[D];重庆大学;2011年
梁海波;[D];哈尔滨工程大学;2011年
梁莹;[D];哈尔滨工程大学;2010年
中国硕士学位论文全文数据库
周广千;[D];长沙理工大学;2010年
陶玉昆;[D];河南理工大学;2010年
肖宇;[D];华东师范大学;2011年
张艳杰;[D];河北工程大学;2010年
郭鲁强;[D];哈尔滨理工大学;2010年
郝建青;[D];哈尔滨理工大学;2010年
张鑫;[D];长春工业大学;2010年
徐忠平;[D];南昌大学;2011年
刘璐;[D];华东理工大学;2011年
刘凤龙;[D];昆明理工大学;2010年
【二级参考文献】
中国期刊全文数据库
吴微,陈维强,刘波;[J];大连理工大学学报;2001年01期
孙元章;林今;李国杰;黎雄;;[J];电力系统自动化;2010年03期
王彩霞;鲁宗相;乔颖;闵勇;周双喜;;[J];电力系统自动化;2010年16期
陈颖;周海;王文鹏;曹潇;丁杰;;[J];电力系统自动化;2011年15期
师洪涛;杨静玲;丁茂生;王金梅;;[J];电力系统自动化;2011年16期
王海燕,盛昭瀚,张进;[J];东南大学学报(自然科学版);2003年01期
崔彦平,傅其凤,师伟力;[J];河北科技大学学报;2003年03期
张利平,王铁生,索丽生;[J];河海大学学报(自然科学版);2003年02期
王伟,吴成柯;[J];Science in China(Series E:Technological Sciences);1997年02期
张健,陈勇,夏罡,何永保;[J];计算机工程;1997年02期
【相似文献】
中国期刊全文数据库
王唯贤;陈利军;;[J];计算机仿真;2012年01期
施航;马琳达;;[J];电脑开发与应用;2007年09期
王晴;;[J];计算机仿真;2010年12期
刘小兰;;[J];农业网络信息;2012年09期
李忍东;饶佳艺;严亚宁;;[J];科技通报;2013年04期
徐维维;高风;;[J];计算机仿真;2007年11期
朱嘉瑜;叶海燕;高鹰;;[J];计算机工程与设计;2009年21期
王玲;;[J];计算机仿真;2012年01期
王煜坤;张祎;;[J];电脑知识与技术;2009年18期
杨震;;[J];计算机仿真;2012年02期
中国重要会议论文全文数据库
于志军;杨善林;;[A];“两型社会”建设与管理创新——第十五届中国管理科学学术年会论文集（上）[C];2013年
中国重要报纸全文数据库
徐虞利;[N];中国企业报;2009年
中国硕士学位论文全文数据库
沈志刚;[D];暨南大学;2007年
吕欣;[D];吉林大学;2010年
高立刚;[D];北京工业大学;2006年
胡艺博;[D];吉林大学;2008年
陈丽琼;[D];厦门大学;2014年
唐广宇;[D];湘潭大学;2013年
张克宜;[D];哈尔滨工业大学;2013年
姜爱宇;[D];辽宁师范大学;2012年
王毅;[D];合肥工业大学;2005年
王浩;[D];西南交通大学;2005年
&快捷付款方式
&订购知网充值卡
400-819-9993
《中国学术期刊（光盘版）》电子杂志社有限公司
同方知网数字出版技术股份有限公司
地址：北京清华大学 84-48信箱 知识超市公司
出版物经营许可证 新出发京批字第直0595号
订购热线：400-819-82499
服务热线：010--
在线咨询：
传真：010-
京公网安备74号
